robots禁止后还能索引收录,是什么原因?

张俊SEO
张俊SEO
张俊SEO
3421
文章
54
评论
2022年5月14日06:12:00
评论
3 880字阅读2分56秒

摘要

SEO优化中很多细节容易被人忽略,比方说robots文件。如果网站的robots协议文件禁止了搜索引擎蜘蛛,那么无论你怎么优化都不会被收录。有时候不希望搜索引擎抓取某些内容可以写robots.txt文件放到根目录,按理蜘蛛会首先读取这个文件,按照robots协议抓取相应的内容。但很多时候搜索引擎抓取收录了你robots.txt不允许抓取的内容,不是因为机器人不遵守,而是从抓取到索引到展现这个

SEO优化中很多细节容易被人忽略,比方说robots文件。如果网站的robots协议文件禁止了搜索引擎蜘蛛,那么无论你怎么优化都不会被收录。

有时候不希望搜索引擎抓取某些内容可以写robots.txt文件放到根目录,按理蜘蛛会首先读取这个文件,按照robots协议抓取相应的内容。

但很多时候搜索引擎抓取收录了你 robots.txt 不允许抓取的内容,不是因为机器人不遵守,而是从抓取到索引到展现这个过程需要一段时间,当搜索引擎已经抓取了,你才更新,那么之前抓取的是不会那么快删掉的,删除周期并不规律,一般是算法更新后生效的情况多些。但是许多站长们发现,蜘蛛并不太遵守这个协议。

下面说下几个新手可能会需要的信息。

1、robots.txt 怎么写?

各大搜索引擎的站长平台(英文叫 webmasters )都有详细说明,也有生成工具。

2、怎样确定 robots.txt 有效?

站长平台都有抓取 robots.txt 的工具,也会有“抓取工具”来确认某个页面是不是可以正确抓取。

3、怎样通知搜索引擎 robots.txt 已更新?

和上面的一样,通过站长平台的抓取工具重新抓取(有的是“更新”)即可。

4、让搜索引擎抓取了不应该抓取的内容怎么办?

5、整站禁止抓取,如何操作更有效?

有的搜索引擎索引是不遵守 robots.txt 的,只有在展现的时候遵守,也就是说,就算你 robots.txt 写明了禁止抓取,你会发现还是有机器人来爬。

所以如果是大目录或者是整站禁止抓取,建议在服务器软件(如 nginx)的代码段中直接判断搜索引擎 UA 并返回错误代码。这样一方面可以减轻服务器压力,一方面可以真正禁止抓取。

声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢。本站部分图文来源于网络,仅供学习交流,发表作品观点仅代表作者本人,本站仅提供信息存储空间服务,不承担连带责任。如有侵权,请联系管理员删除。
  • 添加微信
  • 微信扫一扫
  • weinxin
  • 公众号
  • 微信扫一扫
  • weinxin
竞价托管
张俊SEO
  • 本文由 发表于 2022年5月14日06:12:00
  • 转载请务必保留本文链接:https://zhangjunseo.com/22246.html
诵吧songba.com
¥ 议价-元

诵吧songba.com

lingxian.com
¥ 议价-元

lingxian.com

大促dacu.com
¥ 议价-元

大促dacu.com

AI奶,爱耐ainai.com
¥ 议价-元

AI奶,爱耐ainai.com

SEO好做吗,主要做什么? seo优化

SEO好做吗,主要做什么?

搜索引擎优化(SEO)和长期收益。搜索引擎优化是获得长期收益的最佳营销策略。长期收益是SEO活动的主要优势。从本质上讲,SEO是一个缓慢而深思熟虑的过程,它不会马上得到回报。在它真正的成功之前,它可能...
中小企业做好网络营销需要什么技术? seo优化

中小企业做好网络营销需要什么技术?

随着互联网不断的发展,越来越多的中小企业以及个人创业者都在逐步开展互联网生意,而想要通过互联网赚到钱,那么就一定要掌握这门技术,商梦网校做从事网络营销有十年经验,一直秉承着无干货不分享的理念为大家分享...
如何利用SEO推广让你的企业品牌不断升值? seo优化

如何利用SEO推广让你的企业品牌不断升值?

经常会听到朋友唠叨,自决定开展网络营销开始,搭建好了企业官网,也做了竞价推广-SEM,也结合了免费的SEO推广方式,但结果还是很不理想。这其中一方面是核心关键词的问题、另一方面是网站缺乏营销力,再者就...
seo推广怎么做可以获得大量的客户咨询? seo优化

seo推广怎么做可以获得大量的客户咨询?

首先需要一个网站,在网站上做好相关内容,内容是基础也是第一位,做好内容,这里指的是领域内容,比较专业和原创的内容或产品。第一部分:SEO推广效果的工作执行部分;1、客户搜索词整理2、分类好搜索词,比如...
广告也精彩
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: