방화벽에서 네이버 검색로봇의 접근을 허용해주세요. 네이버 검색로봇의 이름(User-Agent)은 Yeti 입니다.
Mozilla/5.0 (compatible; Yeti/1.1; +http://naver.me/spd)
2. IP 정보로 확인
검색로봇의 접근은 일반적으로 HTTP header로 전달되는 User-Agent 정보를 이용하여 식별할 수 있습니다. 하지만 이 정보는 요청자가 임의로 넣을 수 있기 때문에 해당 접근이 실제 네이버 검색로봇에 의한 것인지를 확인하기 위해서는 다음과 같은 방법을 사용합니다.
웹서버 로그 혹은 방화벽 접근 기록에 있는 접근자의 IP 주소에 대해 역 DNS 조회를 하여 조회된 도메인이 .naver.com으로 끝나는지 확인합니다.
위에서 얻어진 도메인에 대해서 DNS 조회를 하여 원래 IP 주소와 같은지 확인합니다.
예시 (Linux 기반 시스템)
> host 125.209.235.169
169.235.209.125.in-addr.arpa domain name pointer crawl.125-209-235-169.web.naver.com.
> host crawl.125-209-235-169.web.naver.com
crawl.125-209-235-169.web.naver.com has address 125.209.235.169
예시 (Windows 윈도우키 + R 입력 후 cmd 실행)
C:\Users> nslookup 125.209.235.169
Server: cns1.naver.com
Address: 10.22.64.6
Name: crawl.125-209-235-169.web.naver.com
Address: 125.209.235.169
C:\Users> nslookup crawl.125-209-235-169.web.naver.com
Server: cns1.naver.com
Address: 10.22.64.6
Name: crawl.125-209-235-169.web.naver.com
Address: 125.209.235.169
네이버 검색로봇의 IP 대역은 변경될 수 있기 때문에 목록을 공개하지 않습니다. 만약 네이버 검색로봇을 가장한 악의적인 사용자로부터 사이트를 보호해야 한다면 위에서 설명한 내용대로 IP 주소에 대한 DNS 조회를 실행하여 식별하면 됩니다.
윈도우 : iis
[나1*]
[j1*]
아직 등록된 댓글이 없습니다.
깜순복님의 게시글에 첫번째 댓글을 남겨보세요.