°Ë»ö¿£Áø ȸ»ç°¡ »ç¿ëÇÏ´Â À¥ Å©·Ñ·¯(Web crawler)´Â À¥ »óÀÇ ¿©·¯ ¹®¼µéÀ» ±Ü¾î¼ ¹®¼¸¦ Àû´çÇÑ ÇüÅ·ΠÀúÀåÇÕ´Ï´Ù. ÀÌ ¶§ keywords¿Í description µîÀ̳ª ¹®¼ ±æÀÌ, url, Á¦¸ñ µîÀÇ ¸ÞŸ Á¤º¸¸¦ µû·Î °ü¸®Çϸç ÀúÀåÇÏÁö¸¸ (x)html ¹®¼ ÀÚüµµ ¸ðµÎ ±Ü¾î¼ ÀúÀåÇÕ´Ï´Ù.
ÀϹÝÀûÀÎ ·¥º¸´Ù ¼Óµµ°¡ ÈξÀ ºü¸¥ ij½¬ ¸Þ¸ð¸®(cache memory)°¡ ÀÚÁÖ ÇÏ´Â ÀÛ¾÷À» ÀúÀåÇÏ°í ÀÖ´Ù°¡ cpu¿¡¼ ¿äûÀÌ ¿À¸é Áï°¢ º¸³»¼ ÄÄÇ»ÅÍ ÀÛ¾÷ ¼Óµµ¸¦ ´Ã·ÁÁÖ´Â °Íó·³,
À¥ Å©·Ñ·¯°¡ ±Ü¾î ¿Â À¥ ÆäÀÌÁö ³»¿ë ¿ª½Ã °Ë»ö¿£ÁøÀÇ ¸ðó¿¡ ij½¬ ÇüÅ·ΠÀúÀåÇؼ ¸Å °Ë»ö ½Ã¸¶´Ù À¥ Àüü¸¦ µÚÁöÁö ¾Ê°í ÀúÀåµÈ ij½¬¸¦ °Ë»öÇؼ ºü¸¥ ¼Óµµ·Î °Ë»ö °á°ú¸¦ º¸¿©ÁÝ´Ï´Ù.(±¸±ÛÀÇ 'ij½¬'°¡ ±×°ÍÀÔ´Ï´Ù.)
°Ë»ö¿£Áø ȸ»ç´Â ÀÌ·¸°Ô À¥ ÆäÀÌÁö¸¦ ±Ü¾î ¿À´Â ÀÛ¾÷À» Á¤±âÀûÀ¸·Î ÇÏ°í ÀÖÀ¸¸ç Å©·Ñ¸µÀ» ÀÚÁÖ ÇÏ´Â °÷Àϼö·Ï ij½¬ ³»¿¡ ÃÖ±Ù ³»¿ëÀÌ ÀúÀåµÇ¾î ÀÖÀ¸¹Ç·Î º¸´Ù ÃÖ½ÅÀÇ °Ë»ö°á°ú¸¦ º¸¿©ÁÝ´Ï´Ù.
¹®Á¦´Â À¥¿¡ ÀÌ·± À¥ Å©·Ñ·¯(web crawler)µéÀÌ ¾ÆÁÖ ¸¹ÀÌ ¶°µ¹¾Æ ´Ù´Ï°í ÀÖ¾î¼ ¿ÜºÎ¿¡ ³ëÃâÇÏ°í ½ÍÁö ¾ÊÀº ¹®¼±îÁö °ø°³µÇ°í ½ÉÁö¾î ÀúÀåµÉ ¼ö ÀÖ´Ù´Â »ç½ÇÀÔ´Ï´Ù.
±×°ÍÀ» ÇØ°áÇÏ´Â °ÍÀÌ robots¶ó´Â ¸ÞŸ ű×ÀÔ´Ï´Ù.
name= ÀÚ¸®¿¡ robots°¡ µé¾î°¡ ÀÖ°í content¿¡´Â noindex, nofollow¶ó°í µÇ¾î ÀÖ½À´Ï´Ù.
ÀÌ°Í¿¡ ´ëÇØ ÀÚ¼¼ÇÏ°Ô ¾Ë¾Æ º¸±â Àü¿¡ À¥ Å©·Ñ·¯°¡ ¾î¶»°Ô µ¿ÀÛÇÏ´ÂÁö °£´ÜÇÏ°Ô ¾Ë¾Æ º¾½Ã´Ù.
À¥ Å©·Ñ·¯°¡ ÃÖÃÊ À¥ ¼¹ö¿¡ µµÂøÇÏ¸é ±× À¥ ¼¹ö ¹®¼ µð·ºÅ丮ÀÇ ÃÖ»óÀ§(/)¿¡ "robots.txt" ¶ó´Â ¹®¼°¡ ÀÖ´ÂÁö Á¡°Ë ÇÕ´Ï´Ù.
¸¸¾à robots.txt¶ó´Â ¹®¼°¡ ÀÖ°í, ±× ¹®¼ ¾È¿¡
User-agent: * Disallow: /
¶ó´Â ³»¿ëÀÌ ´ã°Ü ÀÖ´Ù¸é /(¹®¼ ·çÆ® µð·ºÅ丮) ¹ØÀ¸·Î´Â disallow, Áï, Çã¶ôÇÏÁö ¾Ê´Â °ÍÀ̹ǷΠ±× »çÀÌÆ®ÀÇ ¹®¼¸¦ ±ÜÁö ¾Ê°í ¶°³³´Ï´Ù.
±×·±µ¥ ÀÌ°ÍÀº ½Ç¿ë¼ºÀÌ ¶³¾îÁý´Ï´Ù.
°¨Ãß°í ½ÍÀº ¹®¼µµ ÀÖ±ä ÇÏÁö¸¸ °Ë»ö ¿£Áø¿¡ ¿Ã·Á µÎ°í ½ÍÀº ¹®¼°¡ ÈξÀ ´õ ¸¹À» ¼ö ÀÖÀ¸´Ï±î¿ä.
Á¦ÀÏ »óÀ§ÀÎ / µð·ºÅ丮¿¡¼ À¥ Å©·Ñ·¯¸¦ Â÷´ÜÇÏ´Â °ÍÀº »çÀÌÆ® Àüü¸¦ °Ç³Ê ¶Ù°Ô ÇϹǷΠ½Ç¿ë¼ºÀÌ ¾ø½À´Ï´Ù.
¶Ç Çϳª ¹®Á¦°¡ µÇ´Â °ÍÀº µ¶¸³ÀûÀÎ À¥ ¼¹ö¸¦ »ç¿ëÇÏÁö ¾Ê°í À¥È£½ºÆà ¼ºñ½º³ª °èÁ¤À» »ç¿ëÇÏ°í ÀÖ´Â °æ¿ì "Document Root"¿¡ robots.txt ¹®¼¸¦ ³Ö¾îµÎ±â´Â Èûµé´Ù´Â Á¡ÀÔ´Ï´Ù.
±×·² ¶§ »ç¿ëÇÏ´Â °ÍÀÌ robots ¸ÞŸ ű×ÀÔ´Ï´Ù. robots ¸ÞŸ ű״ À¥Å©·Ñ·¯°¡ ±Ü¾î°¥ °ÍÀÎÁö ¸» °ÍÀÎÁö¸¦ °³º° ¹®¼ º°·Î ¼³Á¤ÇÒ ¼ö ÀÖ½À´Ï´Ù.
»ç¿ë¹ýÀº °£´ÜÇÕ´Ï´Ù. robots ¸ÞŸ ű×ÀÇ content°¡ indexÀÌ¸é ±× ÆäÀÌÁö´Â ±Ü¾î °©´Ï´Ù.
content°¡ follow¸é ±× ÆäÀÌÁö¿¡ ³ª¿Â ¸ðµç ¸µÅ©¸¦ ã¾Æ °¡¼ ¸µÅ©µÈ ¹®¼µµ ±Ü¾î °©´Ï´Ù.
noindex¸é ±× ÆäÀÌÁö´Â ±Ü¾î°¡Áö ¾Ê½À´Ï´Ù. nofollow¸é ¸µÅ©¸¦ È®ÀÎÇؼ ±Ü¾î°¡´Â °ÍÀ» °Ç³Ê ¶Ý´Ï´Ù.
Áï, ´ÙÀ½°ú °°Àº ³× °¡ÁöÀÇ Á¶ÇÕÀÌ ³ª¿É´Ï´Ù. ¸ñÀû¿¡ ¸Â°Ô »ç¿ëÇÏ¸é µË´Ï´Ù.
meta name="robots" content="index,follow" : ÀÌ ¹®¼µµ ±Ü¾î°¡°í ¸µÅ©µÈ ¹®¼µµ ±Ü¾î°¨. meta name="robots" content="noindex,follow" : ÀÌ ¹®¼´Â ±Ü¾î°¡Áö ¸»°í ¸µÅ©µÈ ¹®¼¸¸ ±Ü¾î°¨. meta name="robots" content="index,nofollow" : ÀÌ ¹®¼´Â ±Ü¾î°¡µÇ, ¸µÅ©´Â ¹«½ÃÇÔ. meta name="robots" content="noindex,nofollow" : ÀÌ ¹®¼µµ ±ÜÁö ¾Ê°í, ¸µÅ©µµ ¹«½ÃÇÔ.
Àû¿ëÇϽǶ§ ¾ÕµÚ¿¡ < >·Î Àû¿ëÀ» ÇÏ¼Å¾ß ÇÕ´Ï´Ù.
¹Ì¸®³»¿¡¼ Á¦°øÇص帮´Â ¼Ò½º °ü·Ã Áö½ÄÀº ²À Àú·¸°Ô ÇØ¾ß µÈ´Ù´Â Ç¥ÁØ Á¤´äÀº ¾Æ´Õ´Ï´Ù.
´õ ÀÚ¼¼ÇÑ ³»¿ëÀ» È®ÀÎÇÏ°í ½ÍÀ¸½Ã´Ù¸é °Ë»öÆ÷ÅеîÀ» ÀÌ¿ëÇÏ½Ã¾î ¿©·¯°¡Áö ¹æ¹ýÀ» ÀÌ¿ëÇغ¸½Ã±â ¹Ù¶ó¸ç ¼Ò½º °ü·ÃµÈ
¹®ÀÇ¿¡ ´ëÇؼ »ó¼¼ÇÏ°Ô ¼³¸íÇص帮±â ¾î·Á¿î Á¡À» ¾çÇعٶø´Ï´Ù.
|