티스토리 뷰

용어를 어떻게 정의하는지에 따라 조금 달라질 수 있습니다.

 

크롤링이 기본적으로 모든 데이터를 가져오는거라면

웹 스크래핑은 크롤링으로 생각하기도 하고, 짧은 범위로는 특정 정보만 추출하는 걸 의미합니다.

 

누가 어떻게 정의하는가에 따른거라 다들 좀 다를 수 있습니다.

 

특정 정보만 추출하는 기준으로 웹 스크래핑을 보면  

페북등에서 URL을 주면 뭔가 이미지와 함께 요약정보가 뜹니다. 아래와 같은,



 이런 걸 제공하는 걸 웹 스크래핑 서비스라고 정의할 수 있습니다. 그래서 크롤링과 조금 달라집니다.


여기서 한가지 의문은, 일반적인 검색을 할 때, 크롤링은 속도가 늦어도 될까, 안될까?

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

늦어도 되고, 늦으면 안되기도 하고,, 다 맞는 답 일 수 있습니다

그런데 검색용이라면 그 결과가 실시간으로 반영될 필요성이 떨어질껍니다.

뭐 인덱싱해두고 그걸로 랭킹을 계산하든가 하는… (다양한 방법이 있을 수 있지만 나중에 찾아보겠습니다.)


그런데 스크래핑은 현재 정보를 바로 보여주는 수단이라, 실시간 민감성이 생깁니다.

그런데 정의하기 나름이라 뭐가 정답이라 딱 말하긴 힘든 것 같습니다ㅎ



댓글
댓글쓰기 폼
공지사항
Total
67,089
Today
36
Yesterday
129
TAG more
«   2018/06   »
          1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
글 보관함