robots.txt (1) 썸네일형 리스트형 robots.txt과 웹 로봇의 크롤링 robots.txt에 크롤러가 웹 크롤링을 하는 것을 막을 수 있다.물론 이것을 어기고 할 수도 있지만...http://www.google.com/robots.txtUser-agent: * Disallow: /search Disallow: /groups Disallow: /images Disallow: /catalogs Disallow: /catalogues Disallow: /news Allow: /news/directory Disallow: /nwshp Disallow: /setnewsprefs? Disallow: /index.html? 네이버에 경우 모든 것을 하지 않기를 원한다http://me.naver.com/robots.txtuser-agent:* disallow:/ 이전 1 다음