아래 내용은 네이버 다이어리에서 검색 개발자가 네이버 검색에 대한 글을 적은 것입니다. 초보분들을 위해 나름의 해석을 기재해보겠습니다.

 ------------------------------------------------------

현재 네이버는 검색요청이 온 경우 약 1초 만에 검색결과를 내보내고 있습니다. ‘당연한 것 아닌가?’라고 생각할 수 있지만 이 ‘1초 마법’ 뒤에는 숨은 노력이 많습니다. 그 첫 단계는 한국웹 문서들을 모두 수집하는 것입니다. '얼마나 잘 수집해서 갖고 있느냐'는 검색서비스에서 중요한 기본 요소 중 하나입니다. 수집이 안 돼 있다면, 당연히 검색결과로 내보낼 수 없기 때문입니다.

==> 이 부분 때문에 우리 웹사이트를 검색엔진에 친화적으로 만들어야 된다고 하는 것입니다. 검색 로봇이 우리 웹사이트를 방문하여 최대한 많은 웹문서를 수집해가도록 하는 것. 이것을 크롤링최적화라고도 합니다.

그런데 문제는 웹문서들이 그대로 있는 것이 아니라 수시로 새로 생기고 고쳐지고 삭제된다는 것입니다. 사실 네이버 안에 있는 블로그, 카페, 지식in 등은 저희 시스템과 밀접하게 연결돼 있기 때문에 그곳에서 새로 생기는 변화들은 자동으로 저희에게 알람이 와서 바로 업데이트가 됩니다. 하지만 외부 블로그, 외부 웹문서들은 그러지 못합니다. 때문에 저희 검색로봇(진짜 로봇이 아니라 수집 프로그램입니다)은 수시로 외부 사이트, 블로그를 돌아다니며 새 문서가 생성됐는지 이전 문서가 수정이 됐는지 등을 확인해야 합니다.

=> 네이버 내부의 웹문서는 그 변화를 감지하기 쉽지만 외부 웹문서는 어렵다는 이야기지요? 외부의 웹문서란 타사의 블로그, 지식인, 카페 같은 서비스에서 생성되는 문서와 우리 웹사이트에 속해 있는 웹페이지들을 일컫습니다.

내부의 웹문서는 신호만 던져줘도 알 수가 있고, 외부의 웹문서는 직접 거기에 방문해서 과거의 수집 내용과 대조를 해봐야 알 수 있다는 것이지요? 당연히 후자의 일이 훨씬 번거로울 겁니다.

그런데 우리 웹사이트에 속해 있는 웹문서도 마치 네이버 내부의 웹문서처럼 신호만 던져줘서 그 변화를 알릴 수 있는 방법이 있습니다. 그게 바로 네이버 신디케이션 API를 연동한다는 것입니다. 그러니 네이버 신디케이션 API를 연동하게 되면 아무래도 검색로봇이 일일이 수집을 위해 방문하는 크롤링 방식에서보다 잘 수집해가게 되는 것입니다.

‘하면 될 것 아닌가?’라고요? 우선 저희 시스템과 연계돼 있지 않은 그리고 매우 광범위한 외부 웹을 일일이 찾아다니는 데는 어쩔 수 없이 꽤 시간이 소요됩니다.

=> 이게 크롤링 방식의 한계입니다. 위에서도 말하길 '얼마나 잘 수집해서 갖고 있느냐가 검색서비스에서 중요한 기본 요소 중 하나'라고 하였쟎아요? 그러니 그 수많은 웹사이트와 거기에 속해 있는 웹문서를 순서대로 하나씩 찾아다닌다는 것은 매우 비효율적이게 됩니다.

그러니 검색엔진에서는 웹사이트마다 차별을 두지 않겠어요? 검색로봇이 방문하면 좋은 성과를 거둘 수 있는 곳에는 우선적으로 방문하려고 할 것이고 그렇지 못한 곳은 시간을 뒤로 미루겠지요? 이렇게 보면 검색엔진최적화의 첫걸음은 우리 웹사이트가 검색엔진이 좋아하는 곳이 되도록 하는 것이겠지요? 양질의 컨텐츠가 꾸준히 올라오는 곳이 되어야 한다는 것입니다.

그래도 의욕을 내서 더 열심히 찾아가고도 싶지만, 외부사이트에 저희 검색로봇이 너무 자주 방문하면 해당 사이트에 장애가 생길 수 있어 항의가 들어옵니다. (누가 자꾸 와서 초인종 눌러대면 귀찮지 않겠어요?)

=> 우리는 마케팅을 필요로 하니깐 검색로봇이 우리 웹사이트를 자주 방문해서 웹문서 내용을 수집해가면 좋겠다라고 생각하고 있지만, 이에는 관심이 없는 웹사이트 운영자도 있고 특히 호스팅 업체에서는 검색로봇의 방문이 트래픽 과부하를 야기하기 때문에 좋아하지 않습니다. 해서 호스팅 업체에서 아예 검색로봇의 방문을 막아 버리기도 합니다. 우리 웹사이트에 왜 이렇게 방문을 하지 않을까 하고 의심이 되신다면 호스팅 업체에서 혹시 차단해놓고 있지는 않은지 확인해볼 필요도 있습니다.

또 네이버 검색로봇이 미처 몰라서 수집하러 찾아가지 못하는 사이트들도 있고,

=> 이것 때문에 일단 네이버에 웹사이트 등록부터 하라는 겁니다. 등록을 하지 않으면 네이버에서 모를 수도 있으니깐요.

당연히 수집대상이지만 “우리 사이트는 수집하지 마라”고 닫아놓은 사이트들도 꽤 있습니다.

=> 고객이 쓴 글이 웹문서에 노출되기도 하고, 필요 없는 내용이 노출되는 것이 싫은 경우 robots.txt 파일에 검색로봇의 방문을 막는 내용을 기재하여 웹서버의 root 위치에 올리면 됩니다.

최근 저희는 검색로봇이 자주 방문해도 해당 사이트에 무리를 덜 주는 방법으로 외부 블로그 수집기술을 업데이트하는 등 꾸준히 수집 기능 개선에 노력하고 있습니다.

=> 대체 무슨 방법일까요? 외부 블로그하고 신디케이션 API 연동이라도 한 것일까요?