프링글이 하는 이야기

[ robots.txt 상세 옵션 설명] User-agent: * Disallow: / 모든 검색엔진이 긁어가는 것 모두 막기 User-agent: * Disallow: 모두 허용하기 User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /private/ cgi-bin 디렉토리, tmp 디렉토리, private 디렉토리 긁어가는 것만 막기 User-agent: BadBot Disallow: / 배드봇 검색로봇만 긁어가기 제외 User-agent: WebCrawler Disallow: 웹크롤러 검색로봇만 긁어가기 허락 robots.txt 파일을 ftp로 올립니다. 최상위 디렉토리에 올려야합니다. 예) http://www.tagin.net/robots.t..