우리 사이트의 웹문서를 구글에서 얼마나 긁어가고 있는지(크롤링해가고 있는지) 확인하는 방법은 구글 검색창에 site:i-boss.co.kr 과 같이 입력하면 됩니다.

그런데 co.kr에서 하는 것과 .com에서 하는 것이 서로 결과값이 다릅니다.
결과값이 같은 도메인도 있고 다른 도메인도 있어요.
(.com으로 접속해도 자동으로 .co.kr로 변하기 때문에 미국 구글로 접속해야 합니다.)

왜 다른지는 잘 모르겠는데.... 여튼 이 문제 때문에
아이보스에서 지원하고 있는 크롤링 모니터링 프로그램에서도 약간의 오차가 발생할 수 있습니다.
(크롤링 모니터링 프로그램 : http://www.i-boss.co.kr/new/?doc=webdoc/webdoc.php)

여기에서 co.kr에 쿼리를 보냈더니 서버 IP를 차단시켜 버리더군요.
해서 API를 통해서 숫자를 받아오고 있는데......
이게 co.kr에서는 제공이 안 되고 (못찾고 있는 것일 수도 있고요)
com에서만 제공이 되어서 어쩔 수 없이 com에서의 결과값만 가져오고 있습니다.

그러다보니 구글에서의 크롤링 숫자는 co.kr을 기준으로 해야 하기 때문에
오차가 발생하는 도메인도 있을 수 있습니다.

아이보스의 경우 네이버는 크롤링 숫자에 변함이 없고...
다음은 매일 몇십 페이지씩 늘어나고 있네요.

네이버는 아직 신디케이션 API 적용이 안 되어서 그런 모양입니다.