屏蔽一些国外或国内5118、桔子SEO的蜘蛛

Tecode 发布于2022-06-28 19:00 / 2718人阅读

摘要：下面介绍屏蔽国外一些网站分析平台的蜘蛛的方法。有些网站蜘蛛爬起来比百度谷歌还要勤快，频繁的爬取会增加服务器的一定负荷，对于服务器性能吃紧的小伙伴非常适用。

下面介绍屏蔽国外一些网站分析平台的蜘蛛的方法。

有些网站蜘蛛爬起来比百度、谷歌还要勤快，频繁的爬取会增加服务器的一定负荷，对于服务器性能吃紧的小伙伴非常适用。

国外常见非搜索引擎蜘蛛列表：
SemrushBot
DotBot
MegaIndex.ru
MauiBot
AhrefsBot
MJ12bot
BLEXBot

一、robots.txt协议修改(以上7个蜘蛛都遵守robots协议)

User-agent: Baiduspider
Disallow:
User-agent: Googlebot
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Baiduspider-image
Disallow:
User-agent: YoudaoBot
Disallow:
User-agent: Sogou web spider
Disallow:
User-agent: Sogou inst spider
Disallow:
User-agent: Sogou spider2
Disallow:
User-agent: Sogou blog
Disallow:
User-agent: Sogou News Spider
Disallow:
User-agent: Sogou Orion spider
Disallow:
User-agent: JikeSpider
Disallow:
User-agent: Sosospider
Disallow:
User-agent: PangusoSpider
Disallow:
User-agent: yisouspider
Disallow:
User-agent: EasouSpider
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: *
Disallow: /

二、宝塔等防火墙增加UA黑名单

在宝塔防火墙中增加如上UA头，或者批量导入，格式如下：

["SemrushBot""DotBot""MegaIndex.ru""MauiBot""AhrefsBot""MJ12bot""BLEXBot"]

屏蔽一些国外或国内5118、桔子SEO的蜘蛛

国内5118和桔子这类爬虫影响力有限，这里暂不处理。

GPU云服务器云服务器 cdn能屏蔽蜘蛛吗国外视频网站有哪一些 java的一些代码深度学习的一些应用

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/126377.html

宝塔Linux面板免费Nginx免费防火墙安装使用教程

摘要：今天，小编要为大家分享得是宝塔面板免费免费防火墙安装使用教程，这个宝塔免费防火墙功能非常庞大，可以直接屏蔽所有国外，并且黑名单可以有效躲避伪装防屏蔽，而且还有很多安全防御功能，特别是防御。今天，小编要为大家分享得是宝塔Linux面板免费nginx免费防火墙安装使用教程，这个宝塔免费防火墙功能非常庞大，可以直接屏蔽所有国外IP，并且黑名单可以有效躲避伪装IP、防屏蔽IP，而且还有很多安全防御功...

freewolf 2021-09-22 10:56 评论0 收藏0
作为前端，你不得不知道的SEO

摘要：就是把你的页面直接丢给百度的接口，亲口告诉百度你有哪些页面，这是效率最高也是收录最快的方式了。百度在国内搜索引擎的占有率最高，但是很不幸，它并不支持数据的爬取。这些将作为搜索结果排序的重要依据。研发的同学，其实很多人并没有深入了解SEO这个概念。在技术博客里，提及这一块的也寥寥无几。我今天就拿自己的经验，简单给大家扫个盲，有什么遗漏的地方，欢迎大家补充。文字内容有点多，但是...

UnixAgain 2019-08-26 11:59 评论0 收藏0
解决博客图片存储——阿里云的OSS运用

摘要：接下来讲解一下博客中用的图床阿里云对象存储，简称，虽然目前大家用的比较多的是七牛云之类的，但是因为我个人原因我还是选择了阿里云，后面我会简单说明下原因。 showImg(https://segmentfault.com/img/remote/1460000008838754?w=960&h=300); 前言之前打算写一篇有关个人博客SEO优化的体验和一些自身体会，但是发现自己还没完全...

Lowky 2019-08-29 12:31 评论0 收藏0
解决博客图片存储——阿里云的OSS运用

摘要：接下来讲解一下博客中用的图床阿里云对象存储，简称，虽然目前大家用的比较多的是七牛云之类的，但是因为我个人原因我还是选择了阿里云，后面我会简单说明下原因。 showImg(https://segmentfault.com/img/remote/1460000008838754?w=960&h=300); 前言之前打算写一篇有关个人博客SEO优化的体验和一些自身体会，但是发现自己还没完全...

incredible 2019-08-01 16:46 评论0 收藏0