크롤링의 문제를 보완하기 위해서는 구글, 야후에 사이트맵을 제출해야 합니다.

여기서 말하는 사이트맵이란 우리가 홈페이지에서 일반적으로 보는 고객용 사이트맵이 아니라 xml, txt, rss 등으로 만들어진 검색엔진용 사이트맵을 이야기합니다.

이 사이트맵은 우리 웹사이트의 url 리스트로 구성되어 있습니다.

우리 웹사이트의 모든 url을 검색엔진에 제출함으로써 크롤링이 누락되지 않도록 하는 것입니다.

그런데 현실적으로 우리가 url 리스트를 어떻게 작성할 수 있을까요? 직접 작성한다는 것은 거의 불가능에 가깝습니다.

해서 이런 일을 대신해주는 프로그램이 있는데 이것이 바로 GSiteCrawler입니다. 이 프로그램을 가동하면 우리 웹사이트에 있는 url 리스트를 xml 파일과 txt 파일로 만들어줍니다.