검색엔진 회사가 사용하는 웹 크롤러(Web crawler)는 웹 상의 여러 문서들을 긁어서 문서를 적당한 형태로 저장합니다.
이 때 keywords와 description 등이나 문서 길이, url, 제목 등의 메타 정보를 따로 관리하며 저장하지만 (x)html 문서 자체도 모두 긁어서 저장합니다.

일반적인 램보다 속도가 훨씬 빠른 캐쉬 메모리(cache memory)가 자주 하는 작업을 저장하고 있다가 cpu에서 요청이 오면 즉각 보내서 컴퓨터 작업 속도를 늘려주는 것처럼,

웹 크롤러가 긁어 온 웹 페이지 내용 역시 검색엔진의 모처에 캐쉬 형태로 저장해서 매 검색 시마다 웹 전체를 뒤지지 않고 저장된 캐쉬를 검색해서 빠른 속도로 검색 결과를 보여줍니다.(구글의 '캐쉬'가 그것입니다.)

검색엔진 회사는 이렇게 웹 페이지를 긁어 오는 작업을 정기적으로 하고 있으며 크롤링을 자주 하는 곳일수록 캐쉬 내에 최근 내용이 저장되어 있으므로 보다 최신의 검색결과를 보여줍니다.

문제는 웹에 이런 웹 크롤러(web crawler)들이 아주 많이 떠돌아 다니고 있어서 외부에 노출하고 싶지 않은 문서까지 공개되고 심지어 저장될 수 있다는 사실입니다.

그것을 해결하는 것이 robots라는 메타 태그입니다.

name= 자리에 robots가 들어가 있고 content에는 noindex, nofollow라고 되어 있습니다.

이것에 대해 자세하게 알아 보기 전에 웹 크롤러가 어떻게 동작하는지 간단하게 알아 봅시다.

웹 크롤러가 최초 웹 서버에 도착하면 그 웹 서버 문서 디렉토리의 최상위(/)에 "robots.txt" 라는 문서가 있는지 점검 합니다.

만약 robots.txt라는 문서가 있고, 그 문서 안에

User-agent: *
Disallow: /

라는 내용이 담겨 있다면 /(문서 루트 디렉토리) 밑으로는 disallow, 즉, 허락하지 않는 것이므로 그 사이트의 문서를 긁지 않고 떠납니다.

그런데 이것은 실용성이 떨어집니다.

감추고 싶은 문서도 있긴 하지만 검색 엔진에 올려 두고 싶은 문서가 훨씬 더 많을 수 있으니까요.

제일 상위인 / 디렉토리에서 웹 크롤러를 차단하는 것은 사이트 전체를 건너 뛰게 하므로 실용성이 없습니다.

또 하나 문제가 되는 것은 독립적인 웹 서버를 사용하지 않고 웹호스팅 서비스나 계정을 사용하고 있는 경우 "Document Root"에 robots.txt 문서를 넣어두기는 힘들다는 점입니다.

그럴 때 사용하는 것이 robots 메타 태그입니다. robots 메타 태그는 웹크롤러가 긁어갈 것인지 말 것인지를 개별 문서 별로 설정할 수 있습니다.

사용법은 간단합니다. robots 메타 태그의 content가 index이면 그 페이지는 긁어 갑니다.

content가 follow면 그 페이지에 나온 모든 링크를 찾아 가서 링크된 문서도 긁어 갑니다.

noindex면 그 페이지는 긁어가지 않습니다. nofollow면 링크를 확인해서 긁어가는 것을 건너 뜁니다.

즉, 다음과 같은 네 가지의 조합이 나옵니다. 목적에 맞게 사용하면 됩니다.

meta name="robots" content="index,follow"  : 이 문서도 긁어가고 링크된 문서도 긁어감.
meta name="robots" content="noindex,follow" : 이 문서는 긁어가지 말고 링크된 문서만 긁어감.
meta name="robots" content="index,nofollow" : 이 문서는 긁어가되, 링크는 무시함.
meta name="robots" content="noindex,nofollow" : 이 문서도 긁지 않고, 링크도 무시함.

적용하실때 앞뒤에 < >로 적용을 하셔야 합니다.


미리내에서 제공해드리는 소스 관련 지식은 꼭 저렇게 해야 된다는 표준 정답은 아닙니다. 

더 자세한 내용을 확인하고 싶으시다면 검색포털등을 이용하시어 여러가지 방법을 이용해보시기 바라며 소스 관련된

문의에 대해서 상세하게 설명해드리기 어려운 점을 양해바랍니다.