크롤링

 크롤링(Crawling)은 분산되어 있는 수많은 문서들을 수집하여 검색 대상의 색인으로 포함시키는 기술을 말한다. 어느 부류의 기술을 얼마나 빨리 검색 대상에 포함시키는지가 우위를 결정하는 요소로서 웹 검색의 중요성에 따라 발전되었다.

하지만 최근 크롤링을 금지한 웹사이트가 늘어났으며, 이를 무시하고 불법적으로 크롤링하는 행위는 저작권 침해에 해당할 수 있다.