网站robots文件怎么检查?

  • 23

云南seo优化建站技术分享博客今天和大家说说网站robots文件是什么?有什么作用?怎样检查网站robots文件是不是正常?

网站robots文件怎么检查?

整个网站能不能被收录货某个目录下所有页面都不能收录,robots文件中的任何一个字母差错都可能造成致命影响。只有确保robots文件中的每一行代码正确,不会错误禁止应该被收录的文件或目录,网站才有机会说优化。那么,问题来了,哪里可以看到网站的robots文件?

拿博主的果地博客来说,打开连接::

下面是这些代码的含义:

user-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

disallow: /abc/ 这里定义是禁止爬寻abc目录下面的目录

disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的url(包含子目录)。

disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

disallow: /.jpg$

disallow:/ab/ 。

allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

allow: /tmp 这里定义是允许爬寻tmp的整个目录

allow: .htm$ 仅允许访问以".htm"为后缀的url。

allow: .gif$ 允许抓取网页和gif格式图片

sitemap: 网站地图 告诉爬虫这个页面是网站地图

大家可以试试自己的网站有没有,分别对应着看看自己的代码是不是对的。除此之外,大家还可以同过百度站长平台,来检测自己网站robots文件的书写是不是正确,具体的步骤如下:

打开百度站长平台-单机左侧列表类目robots输入自己需要检测的网站-单机下方检测并更新选项-查看结果如下图:
网站robots文件怎么检查?

了解了robots的作用,怎么检测,特定代码的意义和书写规范,对比和检测下自己网站robots文件,看看是不是正常的,没错的话,恭喜,你的网站起码没有屏蔽搜索引擎的抓取哈。

 

本站部分图文来源于网络,仅供学习交流,发表作品观点仅代表作者本人,本站仅提供信息存储空间服务,不承担连带责任。如有侵权,请联系管理员删除。
  • 添加微信
  • 微信扫一扫
  • weinxin
  • 公众号
  • 微信扫一扫
  • weinxin
竞价托管
张俊SEO
  • 本文由 发表于 2017年4月10日17:42:33
  • 转载请务必保留本文链接:https://zhangjunseo.com/1117.html
haizu.com海族
¥ 议价-元

haizu.com海族

xianzu.com
¥ 议价-元

xianzu.com

大冷,达冷daleng.com
¥ 议价-元

大冷,达冷daleng.com

张俊SEO:交流友情链接是否利于查找引擎优化 SEO知识

张俊SEO:交流友情链接是否利于查找引擎优化

链接可以说是一把双刃剑。如果网站质量高,相关性相对较高,往往对你自己的优化是非有利。因为搜索引擎的蜘蛛会首先抓取主页,也就是说,大多数网站的主页权重最高,少数网站的内部页面权重高于主页。这就是为什么s...
广告也精彩
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

评论:4   其中:访客  3   博主  1
    • 电动螺旋压力机 电动螺旋压力机 0

      您好,您的网站做的很不错,很漂亮,我已经收藏了,方便我随时访问,请问您要换友情链接吗?

      我的是 http://www.yaliji.cn/ 关键词是:压力机

      • 澳门新葡京xpj90099.com 澳门新葡京xpj90099.com 0

        “我要完成几次直播,才算是赢了这个赌约?”

        • 临沂振东棋牌够级 临沂振东棋牌够级 0

          “那个昨天救下来的,是什么身份,确认了么?”