织梦SEO优化:织梦dedecms根目录下robots.txt文件设置详解!

  • 84

对于dedecms这个建站程序,我想大多数站长都曾经用过,他功能之强大,几乎能秒杀一切内容管理系统,而且所有页面都能生成静态的html文件,对于SEO优化也是相当有优势的,说道SEO优势,就不得不提到robots.txt的设置方法了

织梦SEO优化:织梦dedecms根目录下robots.txt文件设置详解!

用过dede建站的站长就会发现,DEDECMS自带的程序文件robots.txt的置很简,由于它的适用范围特别广,所以robots.txt的设置方法会相差很多,但是都大同小异。

当蜘蛛来到你网站的时候,他会首先抓取robots,然后才知道哪些可以抓,哪些不可以抓,所以我们要先给他看到可以抓的,然后才告诉他哪些不能抓

User-agent: * 允许所有蜘蛛来网站中抓起文件

Allow: /a/ 织梦默认html文件生成位置,建议吧所有文件都生成在这问文件夹里,当你网站结构发生变化的时候,方便吧html全部删掉,然后重新生成一变,不然以前生成的文件不会删除,然后同一个页面就会出现两次在不同的文件夹里面,这样不利于蜘蛛的抓取。

Allow: /data/sitemap.html 织梦默认生成的网站地图 因为这个文件夹是被屏蔽了的,所以这里要单独写出来

Allow: /data/rssmap.html 织梦默认生成的rss地图 同上

Allow: /plus/flink.php 织梦默认生成的友情链接

以上三个文件是必须要蜘蛛抓取的

Disallow: /list_*_1.html$ 织梦在生成栏目文件夹得时候,会默认生成index.html,但是在这个目录下还会生成一个list_*_1.html的列表第一页的文件,所以我们要把所有的列表第一个页面禁止蜘蛛抓取,不然两个相同的页面对于收录是有很大影响的。

Disallow: /data/ 系统缓存或其它可写入数据存放目录,也是数据备份文件的存放地,所以一般这个文件夹是没有必要给蜘蛛抓取的

Disallow: /images/ 系统默认模板图片存放目录,完全可以静止抓取,因为对你网站一点用处都没有

Disallow: /include/ dede程序核心文件目录,

Disallow: /plus/ 系统和安装的插件及辅助功能目录 ,没有特殊情况,建议禁止

Disallow: /templets/ 默认模板存放目录,也没必要公开

Disallow: /uploads/ 上传下载文件保存目录,一般都是图片,如果不是做图片站的话,就禁止吧,因为蜘蛛也看不懂图片里面到底是什么

Disallow: /index.php 默认首页文件,如果有做html静态化的话,就可以直接屏蔽掉

Disallow: /tags.php 标签文件,也可以屏蔽掉

Disallow: /dede 管理后台目录,需要改名,具体设置后面具体讲

Disallow: /member 会员管理目录,有些文件可以开放,但是如果你网站没有开启会员功能,就可以直接删除这个文件夹

Disallow: /404.html 如果你有做404页面,也是可以直接屏蔽的,因为这个页面对优化没有什么用处,

Allow: /plus/search.php 开放禁止目录里的具体文件

...

基本设置就是这样,下面着重讲下后台管理目录和栏目页的设置:

1.dede目录,为了网站安全着想,根据自己的情况进行改名。改成一个你自己能记住的目录名字(英文)都行,但是这个目录还是需要用robots.txt屏蔽掉的,大家不免疑惑了:在robots.txt里面应该怎么设置呢?如果是直接禁止抓取,还是泄露了后台目录,改名所给网站带来的安全就无效了。那么我们就用通配符*来解决这个问题。比如我们网站后台目录改名为zixue66,那么我们就可以通过下面的方法开解决这个问题:

Disallow: /z*6 只保留文件的第一个字母和最后一个字母就行,或者只用*代替一部分字母都是可以的

这样设置我们即禁止了搜索引擎的抓取,又不会泄露了后台目录名称。保证了网站的安全

2.栏目页。有些站长会发现,如果网站没有做伪静态优化的话,栏目分页后会有两个链接指向栏目首页,如*/web/和*/web/list_1_1.html,其实*/web/是默认的index.html文件,他和目录第一页是完全一样的,为了网站的优化,建议先将栏目分页优化以下(具体做法大家可以在网上找),把首页和第一页的链接改为*/web/的形式,然后在robots.txt文件里做以下设置:

Disallow: /list_*_1.html$ 这样设置就不会造成两个页面一致的情况了,

我在写这篇文章之前,有看见网上有人这么设置的Disallow: /*1.html$,如果这样设置,那么在你文章页个位带1的是不是都被屏蔽掉了,比如说*/web/71.html。这点请大家注意

以上就是织梦dedecms robots.txt文件的设置方法,大家可以根据自己的情况开进行优化设置。

注意事项:

1.按官方说明设置好目录权限;这个权限你可以联系你的空间商帮你完成。

2.网站后台目录改名后的开头字母和结尾字母不要和其他目录一样,否则其他目录会被一起屏蔽掉

3.用百度站长工具测试一下robots.txt文件设置是否有效。

转载请保留出处 张俊SEO:zhangjunseo.com

本站部分图文来源于网络,仅供学习交流,发表作品观点仅代表作者本人,本站仅提供信息存储空间服务,不承担连带责任。如有侵权,请联系管理员删除。
  • 添加微信
  • 微信扫一扫
  • weinxin
  • 公众号
  • 微信扫一扫
  • weinxin
竞价托管
张俊SEO
  • 本文由 发表于 2020年1月16日06:21:25
  • 转载请务必保留本文链接:https://zhangjunseo.com/4601.html
钢厂gangchang.com
¥ 议价-元

钢厂gangchang.com

qunzi.com裙子
¥ 议价-元

qunzi.com裙子

paigeyun.com拍个云
¥ 议价-元

paigeyun.com拍个云

SEO优化:网站SEO友好内容的具体细节 SEO诊断

SEO优化:网站SEO友好内容的具体细节

如果你已经发布了一段时间的seo友好内容,你可能已经注意到,在你对seo的建议和百度想要给页面排名的方式之间存在着一个根本的矛盾。让我们来谈谈seo友好内容的具体细节,这有助于排名第一。为内容添加多样...
张俊SEO:交流友情链接是否利于查找引擎优化 SEO知识

张俊SEO:交流友情链接是否利于查找引擎优化

链接可以说是一把双刃剑。如果网站质量高,相关性相对较高,往往对你自己的优化是非有利。因为搜索引擎的蜘蛛会首先抓取主页,也就是说,大多数网站的主页权重最高,少数网站的内部页面权重高于主页。这就是为什么s...
广告也精彩
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: