MJ12bot是什么蜘蛛?怎么屏蔽禁止它抓取网页

张俊SEO
张俊SEO
张俊SEO
4078
文章
54
评论
2022年11月20日23:12:21
评论
0 508字阅读1分41秒

前几天的时候介绍了如何屏蔽蜘蛛,那个是国外网络营销网站的抓取蜘蛛,其实这样的蜘蛛很多的,大家查询网站日志就可以看到了,今天我们就来看看另外一家网络公司的蜘蛛——MJ12bot。

MJ12bot是什么蜘蛛?

MJ12bot是一个来自英国网络营销公司的蜘蛛,这个搜索引擎名称叫做:Majestic。这家公司的搜索引擎主要是用来绘制互联网地图的,然后用这个互联网地图数据来为企业提供互联网营销数据服务。目前,这家公司提供了13种语言的网站服务。

MJ12bot是什么蜘蛛?怎么屏蔽禁止它抓取网页
%title插图%num

用户可以在Majestic上了解到自己网站的一些数据。

总的来说,如果你的网站业务主要是在国内的话,那么MJ12bot蜘蛛对于你来说就没有多大的作用。

MJ12bot蜘蛛对网站有什么影响?

这个蜘蛛程序同样会轻微的增加服务器的负担,有的时候如果它的抓取量比较大的话,影响也会比较明显,但是一般情况下不会有太大的影响。如果你不想在日志中看到它,可以将它在中屏蔽掉,这个蜘蛛是遵循规则的。

如何屏蔽MJ12bot蜘蛛?

因为MJ12bot蜘蛛会遵循robots协议,所以我们可以直接在robots.txt中将它屏蔽掉,具体代码如下:

User-agent: MJ12bot
Disallow: /

声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢。本站部分图文来源于网络,仅供学习交流,发表作品观点仅代表作者本人,本站仅提供信息存储空间服务,不承担连带责任。如有侵权,请联系管理员删除。
竞价托管
张俊SEO
  • 本文由 发表于 2022年11月20日23:12:21
  • 转载请务必保留本文链接:https://zhangjunseo.com/24131.html
网站seo优化确定网站主题思想 seo优化

网站seo优化确定网站主题思想

       。一个优秀的网站的主题是设计者重点考虑的问题, 最好有一种主体色, 主体色彩一般可以用公司的标准色, 也就是一旦提到某个公司, 可以马上进入访问者...
广告也精彩
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: