홈페이지요리사를 활용한 컨텐츠마케팅 방법

연재4) 웹표준에 따른 코딩으로 크롤링을 쉽게 하자

검색엔진은 검색 결과를 사용자에게 보여주기 위해 먼저 검색 로봇을 우리의 웹사이트에 보내서 콘텐츠를 수집해갑니다. 이를 크롤링(crawling)이라고 합니다. 그런데 검색 로봇이 크롤링을 하는 데 있어 그 작업이 수월하게 이뤄지는 곳도 있고 그렇지 않은 곳도 있습니다. 수월하게 이뤄지는 곳에서는 최대한 많은 콘텐츠를 수집해갈 것이며 그렇지 않은 곳은 수집해가는 양이 적을 것입니다. 우리 입장에서는 당연히 검색 로봇이 많은 콘텐츠를 수집해가야 보다 많은 검색 결과에 노출이 되고 방문객을 유입할 기회를 얻게 될 것입니다.

웹사이트가 규격화되어 있다면 크롤링 작업이 수월하게 이뤄질 것입니다. 반대로 웹문서가 정형화되어 있지 않은 경우에는 수집과 결과 분석 작업 모두가 어려워지게 됩니다. 때문에 크롤링 최적화에 있어서 웹문서를 웹표준에 준수하여 제작하는 것은 매우 중요합니다. 웹표준을 준수하여 제작하는 경우 검색 로봇의 수집 및 분석 작업이 용이하게 되므로 크롤링 숫자가 늘어나게 됩니다.

그런데 웹표준에 맞춰 사이트를 제작하는 일이 결코 만만한 일이 아닙니다. 웹표준에 맞춰 코딩할 수 있는 코더도 많지 않고, 웹표준에 맞춰 코딩하는 경우 일반 작업에 비해 비용도 훨씬 비쌉니다.

홈페이지요리사가 출시되는 데에는 상당한 시간이 걸렸습니다. 애초 작년 12월 중순에 출시할 것이라고 예상하였지만 실제로는 올해 3월 말이나 되어서야 출시하게 되었습니다. 이렇게 시간이 딜레이된 가장 큰 이유는 작업 내용을 모두 뒤엎고 웹표준을 준수하여 다시 코딩하였기 때문입니다. 이렇게 출시 일자를 미뤄가며 어려운 작업을 한 이유는 물론 검색엔진 친화적으로 만들고자 함도 있지만 더 중요한 것은 고객의 홈페이지 접속 환경이 다양해져가고 있기에 이 문제도 해결하기 위해서였습니다. (이 이야기는 다른 칼럼에서 자세히 다루도록 하겠습니다.)

크롤링 문제를 보완하는 또 다른 방법으로는 구글과 야후에 사이트맵을 제출하는 방법이 있습니다. 여기서 말하는 사이트맵은 고객의 네비게이션을 위한 용도가 아니라 검색엔진이 링크를 따라 쉽게 이동할 수 있도록 URL 리스트를 검색엔진에게 제출하는 것을 말합니다. (구체적인 방법은 내용이 조금 길기 때문에 아이보스 웹문서 최적화 교육에서 시연합니다.)

크롤링 최적화는 단지 우리 웹사이트의 컨텐츠를 검색로봇이 최대한 많이 수집해갈 수 있도록 하는 것에 지나지 않습니다. 여기에서 한 걸음 더 나아가 고객이 검색할 때 검색 결과 상위에 노출되어야 비로소 검색엔진최적화가 완성될 것입니다. 실제 사이트들을 살펴보면 크롤링에는 별 문제 없이 웹사이트를 설계해놓았는데 인덱싱에 대한 지식이 없어 그 기회를 놓치고 있는 곳들을 보게 됩니다.

다음 칼럼에서는 홈페이지요리사가 인덱싱 문제에 대해서는 어떻게 대처하고 있는지를 말씀 드리도록 하겠습니다.

현재 웹사이트를 운영하고 계시는데 웹문서최적화에 어려움을 겪고 있다면 홈페이지요리사로 별도의 사이트를 개설하고 기존 웹사이트에 들어 있는 컨텐츠를 새로운 사이트와 연동을 시켜 두 개의 사이트를 운영하는 것도 하나의 방법입니다. 컨텐츠 연동은 아이보스에서 별도로 서비스를 하고 있으니 이를 활용하시면 됩니다. (참조 : 아이보스 컨텐츠 연동 서비스)