검색로봇이 우리 웹서버에 방문했을 때
특별한 규정이 없는 한 메인에 접근한 후
메인의 소스를 파싱(분석)하여 하위 문서로 들어가
나머지 내용도 모두 수집해 오는 것입니다.

그러니 검색로봇이 우리 웹문서 내용을 잘 수집해가도록 하고 싶으면
메인부터 하위 파일까지 접근하는 구조적인 설계가 쉽고 논리적으로 되어 있으면 좋겠지요.

하지만 거꾸로 검색로봇이 다른 것은 몰라도 특정 파일이나 폴더의 내용은
수집해가지 않기를 바란다고 하면 그때에는 robots.txt 파일을 생성합니다.

이 파일은 웹서버의 루트(시작점?)에 위치하고 있어야 하며
검색로봇이 그 파일을 열어보면 웹프로그래머가
특정 파일 혹은 폴더는 건드리지마라는 명령어가 담겨져 있습니다.

그러면 검색로봇은 그 파일/폴더를 건드리지 않게 되어
업무도 효율적으로 수행할 수 있을 것이고, 우리 역시 보안 문제를 걱정하지 않아도 됩니다.

이 파일의 내용을 어떻게 작성해야 하는지에 대해서는 웹프로그래머에게
지시를 하면 쉽게 알 수 있는 내용이므로 .. 내용 자체는 모르셔도 됩니다.

그래도 꼭 알고 싶다면...아래 링크를 참조해주세요. ^^

http://www.robotstxt.org/orig.html