如何正确写Robots.txt

  • A+
所属分类:SEO知识

结合上一篇文章里说过的,你要写robots.txt文件,那么你首先要去了解它,了解它内部结构,什么是robots.txt文件,作为一个SEOer才能写好robots.txt。那么接下来大家要了解是,里面那些内容起到什么作用,每一个控制代码对应的内容不一样,那么起到作用也不一样。想要让你的robots机器人如何听你的话,还要看你如何知己知彼了。

如何写robots

如何写robots

那么首先来了解一下robots内部控制。

1.允许所有搜索引擎访问
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
注意:可以最直接的建一个空文件 “robots.txt”然后放到网站的根目录。

2.禁止所有搜索引擎访问
User-agent: *
Disallow: /
或者
User-agent: *
allow:

3.禁止所有搜索引擎访问网站中目录部分
User-agent: *
Disallow: /a/
Disallow: /b/
Disallow: /c/

允许,则是如下
Allow: /a/
Allow: /b/
Allow: /c/

 4.禁止某个搜索引擎的访问

User-agent: w
Disallow: /
否则
User-agent: w
Disallow: /d/*.htm
注意:在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL,包含子目录。

 5.只允许某个搜索引擎的访问

        User-agent: e
Disallow:
注意:在Disallow:后面不加任何东西,意思是仅允许e搜索引擎访问该网站。

6.使用”$”限制访问url

        User-agent: *
Allow: .htm$
Disallow: /
注意:意思是仅允许访问以”.htm”为后缀的URL

7.禁止访问网站中所有的动态页面

User-agent: *
Disallow: /*?*

8.禁止搜索引擎F抓取网站上所有图片

User-agent: F
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
注意:意思是只允许引擎抓取网页,禁止抓取任何图片(严格来说是禁止抓取jpg、jpeg、gif、png、bmp格式的图片)

9.只允许搜索引擎E抓取网页和.gif格式图片

User-agent: E
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
注意:意思是只允许抓取网页和gif格式图片,不允许抓取其他格式图片

不过,现在很多技术解决的去硬写这些文件,因为有了很多可以走动生成robots.txt文件的软件。那么我给大家介绍一下这几款可以自动生成robots.txt的软件。但是,我觉得还是手写比较好。

1.站长工具里面有一个可以自动生成robots文件,http://tool.chinaz.com/robots/

2.http://www.atool.org/robots.txt.php

3.那么就是金花站长。我主要使用这几款。但是现在都是自己写。主要对于不懂得同学。希望对你们有帮助谢谢。

历史上的今天:

  1. 2019:  【云南SEO】抖音短视频信息流推广的3个技巧!(2)
  2. 2019:  云南SEO:网站运营和SEO优化如影相随的原因?(2)
  3. 2017:  云南昆明SEO:百度搜索引擎优化的工作原理(0)
  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
云服务器

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: