상기 자료 이미지는 아이보스 크롤링모니터링 자료입니다. 보시는 것 처럼 네이버에서는 단 한건의 문서만 웹수집이 되고 있습니다. 

크롤링모니터 링크는 아래 참조

http://www.i-boss.co.kr/ab-74981 

즉 웹문서 노출이 안되고 있는 사이트입니다. 처음부터 안된 것이 아니고, 어느날 무엇을 했는데 수집이 안된다고 해서 확인해 본 결과 강한 추정이 드는 것이 바로 피드수집이였습니다.

매x경제신문 등의 rss 피드수집을 할 수 있는 게시판을 만들었는데, 이 게시판을 생성하고나서 몇달이 지난 어느날부터 웹문서 전부가 네이버검색에서 내려갔습니다. 즉, 차단당한 것입니다. 

1년 넘게 방치된 사이트를 마음먹고 피드보드를 제외한 직접작성한 문서를 2일간 새로운 사이트로 1:1로 이동작업을 했습니다. 

웹문서 수집이 안되니 유사문서에 걸린 염려도 없고해서 편안하게 2개의 사이트를 오픈해놓고 작업했습니다.

기존 사이트로 옮긴 후 발행문서가 많기에 검색노출되는 문서 수는 증가하고 있습니다.

기존 사이트가 웹문서에 수집이 잘되고 있기때문에, 현재까지는 무난하게 검색노출이 되고 있습니다.

만약.....

2~3개월이 지나도 검색이 잘 되고 있다면, rss 피드수집이 문제일 가능성이 99.99% 입니다.

웹문서에 검색이 안되는 사이트는 일정기간 경과 후 버려야겠네요, 수집안되는 사유 중에 오늘은 이런 사례도 있다는 글로 마무리하겠습니다.