신용성의 마케팅 Talk Talk·15,361·2011. 03. 28

홈요3) 네이버 신디케이션 API와 연동해보자

홈페이지요리사를 활용한 컨텐츠마케팅 방법

홈페이지요리사(이하 '홈요')를 활용한 컨텐츠마케팅이 쇼핑몰, 병원 등 인터넷 사업자들이 직면하고 있는 마케팅 과제를 해결해줄 수 있는 하나의 대안이 될 수 있기에 이 홈페이지 솔루션을 활용한 컨텐츠마케팅 방법에 대해 연재합니다. 컨텐츠마케팅 수행 방법으로 홈요를 위주로 설명해나가겠지만, 꼭 홈요를 사용하지 않는다고 하더라도 마케팅 과제를 해결하는 데 중요한 힌트들을 얻어나가실 수 있을 것입니다.

연재3) 네이버 신디케이션 API 연동으로 크롤링 문제를 해결해보자

네이버 신디케이션 API를 연동한다는 것은 웹문서최적화 작업 중 크롤링 최적화와 관련 있습니다.

홈페이지요리사

위의 그림은 네이버에서 '홈페이지요리사'를 검색한 결과 화면입니다. 그림에서 빨간색 테두리가 쳐져 있는 곳은 출처 형태가 다른 것과 다르게 나타난다는 것을 확인하실 수 있을 것입니다. 일반적으로 웹문서 검색결과에서 출처는 세부 URL이 표시되는데, 1, 3위의 검색 결과는 '사이트명 > 게시판명'이 노출되고 있습니다. 이렇게 노출이 되고 있는 이유는 홈페이지요리사가 네이버 신디케이션 API와 연동이 되어 있기 때문입니다.

1. Syndication API란?

Syndication API는 콘텐츠를 보유하고 있는 웹 사이트와 콘텐츠를 찾아 주는 검색 서비스 간의 동기화 규약을 정의하는 API입니다. Syndication API는 검색 콘텐츠 수집에 사용하는 기존 방식의 단점을 해결하여 웹 사이트의 부담을 줄이고 검색 서비스의 품질을 높일 수 있습니다.

2. 기존 방식의 단점

검색 서비스는 웹 로봇을 이용하여 여러 웹 사이트의 콘텐츠를 수집합니다. 웹 로봇은 무작위 접근 방식의 크롤링(crawling) 기법을 이용하여 콘텐츠를 수집하는데, 이는 웹 사이트에 많은 부하를 줄 수 있으며, 정형화되지 않은 URL과 수집 내용 때문에 검색 서비스에서도 수집 결과를 분석하기 어려운 단점이 있습니다.

3. Syndication API의 장점

Syndication API는 기존 방식의 단점을 해결하기 위해 웹 사이트에서 콘텐츠가 등록/수정/삭제되면 검색 서비스로 Ping을 보내고, Ping을 받은 콘텐츠만 검색 서비스에서 수집하도록 규정합니다. Syndication API를 이용하면 다음과 같은 장점이 있습니다.

검색 서비스의 무작위 크롤링으로 인한 웹 사이트의 서버 부하가 줄어듭니다.
신규 콘텐츠 혹은 수정된 내용이 빠르게 검색 서비스에 반영됩니다.
제목, 내용, 태그 등 콘텐츠의 구조가 검색 결과에 정확히 반영됩니다.
Ping을 보낸 콘텐츠만 수집하므로 콘텐츠 제공자가 원하는 부분만 검색에 노출시킬 수 있습니다.

출처 : 네이버 신디케이션 API 소개
http://dev.naver.com/openapi/apis/function/syndication

위에서 설명되어 있는 대로 네이버 신디케이션 API를 이용하는 경우 많은 장점이 있습니다. 하지만 이 작업을 하기 위해서는 프로그래머가 작업을 해야 하며, 신청과 승인의 과정을 거치는데, 신청한다고 해서 쉽게 승인이 되는 것도 아닙니다. 홈페이지요리사는 위의 그림에서 보시다시피 이미 네이버 신디케이션 API 등록이 완료되었기 때문에 출처에 세부 URL이 나오지 않고 '사이트명 < 게시판명'이 노출되고 있습니다.

크롤링

왼쪽 표는 드라이버스(www.drivers.kr)의 크롤링 숫자를 날짜별로 표시한 것입니다. 빨간색 숫자가 시작되는 3월 3일이 API를 적용한 시점입니다. 그 전에는 크롤링 숫자에 거의 변함이 없다가 그 이후부터는 매일 조금씩 증가하고 있음을 확인할 수 있습니다.

잠시 여기서 크롤링(crawling)이라는 표현에 대해 다시 설명을 드리자면, 이는 검색로봇이 우리의 웹사이트에 방문하여 텍스트 내용을 수집해가는 것을 말하는 것입니다. 위 신디케이션 API 설명에 나와 있듯이 이 과정에서 우리 웹서버의 부하가 증가되고 우리 사이트의 URL과 문서 내용이 규격화되어 있지 못하면 로봇의 수집 업무가 힘들어져 포기하게 됩니다. 이런 이유로 크롤링 숫자가 줄어들 게 되는 것입니다.

웹서버의 부하에 대해서는 아이보스의 한 회원님께서 후기를 남겨주셨는데, 중소규모의 웹호스팅 업체들이 트래픽 부담 때문에 로봇의 방문을 차단하고 있는 경우도 많습니다. (참조 : 크롤링 로봇을 차단하는 호스팅업체들)

이와 같이 네이버 신디케이션 API에 연동을 시켜놓으면 크롤링 문제 해결에 큰 도움이 되는데, 문제는 많은 업체들이 하고 싶어도 할 인력이 없거나 혹은 사이트의 구조 상 불가능한 경우도 많아 그림의 떡이 되고 있습니다. 홈페이지요리사를 개발할 때에는 이런 문제를 해결하기 위해 미리 연동 작업을 해놓아, 홈페이지요리사를 가지고 웹사이트를 제작할 경우 바로 적용이 되도록 하였습니다.

때문에 현재 웹사이트를 운영하고 계시는데 웹문서최적화에 어려움을 겪고 있다면 홈페이지요리사로 별도의 사이트를 개설하고 기존 웹사이트에 들어 있는 컨텐츠를 새로운 사이트와 연동을 시켜 두 개의 사이트를 운영하는 것도 하나의 방법입니다. 컨텐츠 연동은 아이보스에서 별도로 서비스를 하고 있으니 이를 활용하시면 됩니다. (참조 : 컨텐츠 연동 서비스)