웹 크롤링과 웹 스크래핑의 차이 (The Difference between Web Crawling and Web Scraping)

용어를 어떻게 정의하는지에 따라 조금 달라질 수 있습니다.

 

크롤링이 기본적으로 모든 데이터를 가져오는거라면

웹 스크래핑은 크롤링으로 생각하기도 하고, 짧은 범위로는 특정 정보만 추출하는 걸 의미합니다.

 

누가 어떻게 정의하는가에 따른거라 다들 좀 다를 수 있습니다.

 

특정 정보만 추출하는 기준으로 웹 스크래핑을 보면  

페북등에서 URL을 주면 뭔가 이미지와 함께 요약정보가 뜹니다. 아래와 같은,

 이런 걸 제공하는 걸 웹 스크래핑 서비스라고 정의할 수 있습니다. 그래서 크롤링과 조금 달라집니다.

여기서 한가지 의문은, 일반적인 검색을 할 때, 크롤링은 속도가 늦어도 될까, 안될까?

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

늦어도 되고, 늦으면 안되기도 하고,, 다 맞는 답 일 수 있습니다. 

그런데 검색용이라면 그 결과가 실시간으로 반영될 필요성이 떨어질껍니다.

뭐 인덱싱해두고 그걸로 랭킹을 계산하든가 하는… (다양한 방법이 있을 수 있지만 나중에 찾아보겠습니다.)

그런데 스크래핑은 현재 정보를 바로 보여주는 수단이라, 실시간 민감성이 생깁니다.

그런데 정의하기 나름이라 뭐가 정답이라 딱 말하긴 힘든 것 같습니다ㅎ