본문 바로가기

Local Oriented/HTML CSS JS

웹크롤러 제어

원문 : http://www.emh.co.kr/content.pl?metatag


*. 개별 문서에서의 메타 태그 세팅

1. 이 문서도 긁어가고 링크된 문서도 긁어감

   <meta name="robots" content="index,follow" />

2. 이 문서는 긁어가지 말고 링크된 문서만 긁어감

   <meta name="robots" content="noindex,follow" />

3. 이 문서는 긁어가되, 링크는 무시함

   <meta name="robots" content="index,nofollow" />

4. 이 문서도 긁지 않고, 링크도 무시함

   <meta name="robots" content="noindex,nofollow" />