什么是Robots?

  • A+
所属分类:SEO知识 互联网
   刚刚设计SEO行业的同学,可能很多搞不懂什么是Robots.txt文件,更别说写一个robots.txt协议了。那么今天就给大家说一下什么robots.txt,如何写robots文件,将在下一篇文章中给大家呈现说明如何正确写Robots.txt》。
云南seo

Robots就是机器人

   Robots,顾名思义,也就是机器人,那么机器人肯定是人制造的,那么我们就要去操控它,不能让他很随意,造成不必要的麻烦。
   一下是百度给大家找的,我想大家都会百度,但是,百度的你真的就能看懂么?“ robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。robots.txt 是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。  
   当一个搜索机器人robots(有的叫搜索蜘蛛或者爬虫)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索引擎爬虫就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索引擎爬虫就沿着链接抓取。”
   robots.txt 文件限制抓取网络的搜索引擎爬虫对您的网站的访问。这些搜索引擎爬虫是自动的,它们在访问任意网站的网页之前,都会查看是否存在阻止它们访问特定网页的 robots.txt 文件。(虽然某些搜索引擎爬虫可能会以不同的方式解释 robots.txt 文件中的指令,但所有正规的搜索引擎爬虫都会遵循这些指令。然而,robots.txt 不是强制执行的,一些垃圾信息发送者和其他麻烦制造者可能会忽略它。因此,我们建议对机密信息采用密码保护。)  
只有当您的网站中包含您不想让搜索引擎编入索引的内容时,才需要使用 robots.txt 文件。如果您希望搜索引擎将网站上的所有内容编入索引,则不需要 robots.txt 文件(甚至连空的 robots.txt 文件也不需要)。 
  总之,为了能使用 robots.txt 文件,必须要有对你网站的根目录的访问权限(如果您不能确定是否有该权限,请与您的网络托管商核实)。如果您没有对网站的根目录的访问权限,可以使用robots元标记来限制访问。从而控制你的机器人,控制蜘蛛爬去内容。从而使有用的内容让蜘蛛带走。减少不必要的信息泄露。
  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
云服务器

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:13   其中:访客  7   博主  3   引用   3

    • zhangjun zhangjun Admin

      很好 !

      • 卢松松博客 卢松松博客 0

        从百度点进来的,支持一下,希望站长您多出一些好文章。

        • 33餐饮 33餐饮 0

          支持一下博主,对于刚学习seo 的人比较有用 :smile:

            • zhangjun zhangjun Admin

              @33餐饮 谢谢支持

            • 便民车务 便民车务 0

              站长写的很不错,文章很精彩

              • 违章查询系统 违章查询系统 1

                文章说的不错,支持站长

                • 罚单代缴 罚单代缴 5

                  内容不错,很喜欢,赞一个

                  • 罚单代缴 罚单代缴 5

                    支持一下哈,关注关注

                    • 罚单代缴 罚单代缴 5

                      文章内容不错的啦,赞一个哈

                    • 来自外部的引用: 3

                      • 网站robots文件怎么检查? _ 张俊SEO
                      • seo基础知识:百度搜索引擎与谷歌seo的区别与联系 _ 张俊SEO
                      • 云南SEO张俊分享:什么是网站用户体验度?如何优化网站体验度? _ 张俊SEO