User-agent: *
Disallow: /
User-agent: NaverBot
Allow: /
User-agent: Yeti
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Daumoa
Allow: /
User-agent: bingbot
Allow: /
현재 위 내용과 같이 robots.txt 정보가 수집이 됐는데 'User-agent' 부분이 'Disallow' 로 설정되어있는게 맞는건가요?? 현재 사이트에 대한 로봇 수집이 집계되지 않는데 해당 이유때문에 그런걸수도 있을까요?!