网站robots文件怎么检查?

  • A+
所属分类:SEO知识

云南seo优化建站技术分享博客今天和大家说说网站robots文件是什么?有什么作用?怎样检查网站robots文件是不是正常?

网站seo优化robots检测

整个网站能不能被收录货某个目录下所有页面都不能收录,robots文件中的任何一个字母差错都可能造成致命影响。只有确保robots文件中的每一行代码正确,不会错误禁止应该被收录的文件或目录,网站才有机会说优化。那么,问题来了,哪里可以看到网站的robots文件?

拿博主的果地博客来说,打开连接::

下面是这些代码的含义:

user-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

disallow: /abc/ 这里定义是禁止爬寻abc目录下面的目录

disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的url(包含子目录)。

disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

disallow: /.jpg$

disallow:/ab/ 。

allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

allow: /tmp 这里定义是允许爬寻tmp的整个目录

allow: .htm$ 仅允许访问以".htm"为后缀的url。

allow: .gif$ 允许抓取网页和gif格式图片

sitemap: 网站地图 告诉爬虫这个页面是网站地图

大家可以试试自己的网站有没有,分别对应着看看自己的代码是不是对的。除此之外,大家还可以同过百度站长平台,来检测自己网站robots文件的书写是不是正确,具体的步骤如下:

打开百度站长平台-单机左侧列表类目robots输入自己需要检测的网站-单机下方检测并更新选项-查看结果如下图:

了解了robots的作用,怎么检测,特定代码的意义和书写规范,对比和检测下自己网站robots文件,看看是不是正常的,没错的话,恭喜,你的网站起码没有屏蔽搜索引擎的抓取哈。

 

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:4   其中:访客  3   博主  1

    • 电动螺旋压力机 电动螺旋压力机 0

      您好,您的网站做的很不错,很漂亮,我已经收藏了,方便我随时访问,请问您要换友情链接吗?

      我的是 http://www.yaliji.cn/ 关键词是:压力机

      • 澳门新葡京xpj90099.com 澳门新葡京xpj90099.com 0

        “我要完成几次直播,才算是赢了这个赌约?”

        • 临沂振东棋牌够级 临沂振东棋牌够级 0

          “那个昨天救下来的,是什么身份,确认了么?”