AhrefsBot是什么蜘蛛?怎么屏蔽禁止它抓取网页

张俊SEO
张俊SEO
张俊SEO
4078
文章
54
评论
2022年11月20日23:12:19
评论
0 689字阅读2分17秒

如果你经常关注自己网站每天都有哪些蜘蛛来爬的话,可能会发现,除了我们常见的(Baiduspider)、蜘蛛(bot)、360蜘蛛(360spider)等外,还有一些一眼看上去也不知道是什么的蜘蛛程序,比如今天我们要介绍的这个:AhrefsBot。

AhrefsBot是什么蜘蛛?

AhrefsBot是国外网站(Ahrefs.com)的一个蜘蛛程序,那么Ahrefs是什么网站呢,这个是国外一个网络营销类的网站,有点类似于国内的5118、站长网之类,在界是很有名的。AhrefsBot数据库里面有超过12万亿条链接,每天它就在不断的执行和监控Ahrefs的在线营销活动,每24小时就要访问超过60亿个网页,每15-30分钟就要更新一次索引。

根据一项调查显示,AhrefsBot是仅次于谷歌蜘蛛(Googlebot)的世界第二大活跃蜘蛛爬虫程序。

AhrefsBot是什么蜘蛛?怎么屏蔽禁止它抓取网页
%title插图%num

AhrefsBot对网站有什么影响?

AhrefsBot除了会轻微的增加你服务器的负担外,并不会对你的网站造成什么影响,它既不会触发网站上的广告,也不会在统计中增加流量。

对于国内的中文网站来说,AhrefsBot蜘蛛是没有什么作用的,不管是好的作用还是副作用。所以我们建议是将其屏蔽掉。

如何屏蔽AhrefsBot?

要想禁止AhrefsBot抓取你的网站,方法其实是很简单,因为AhrefsBot是遵循协议的,所以你只需要在.txt中将其禁止就行,具体代码如下:

user-agent: AhrefsBot
disallow: /

总的来说,很多陌生的蜘蛛程序都是国外的一些营销网站开发的,通过这些蜘蛛在世界各地的网站上抓取网站,提供SEO服务。

声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢。本站部分图文来源于网络,仅供学习交流,发表作品观点仅代表作者本人,本站仅提供信息存储空间服务,不承担连带责任。如有侵权,请联系管理员删除。
竞价托管
张俊SEO
  • 本文由 发表于 2022年11月20日23:12:19
  • 转载请务必保留本文链接:https://zhangjunseo.com/24129.html
网站seo优化确定网站主题思想 seo优化

网站seo优化确定网站主题思想

       。一个优秀的网站的主题是设计者重点考虑的问题, 最好有一种主体色, 主体色彩一般可以用公司的标准色, 也就是一旦提到某个公司, 可以马上进入访问者...
广告也精彩
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: