资讯专栏INFORMATION COLUMN

宝塔面板Nginx通过User-Agent禁止爬虫采集并返回炸弹

LeexMuller / 3278人阅读

摘要:可以直接给特定返回特定的数据。对于服务器的话就是发送了的文件,恶意程序请求后会自动解包为的数据,可以对爬虫程序等造成很大的压力。入群后直接输入禁止爬虫采集群输入密码查看隐藏内容提交最后额,很新奇的方法,不过爬虫变成随机即可绕过。

在loc看到的,Caddy有个http.nobots。可以直接给特定UA返回特定的数据。比如1G压缩一次就剩1M,压两次就3k。

对于服务器的话就是发送了1M的文件,恶意程序请求后会自动解包为1G的数据,可以对爬虫程序等造成很大的压力。

塔宝塔服务器面板,一键全能部署及管理,送你3188元礼包,点我领取https://www.bt.cn/?invite_code=MV9ub2NxdmI=

1、新建一个PHP文件

1)如果你准备用在自己的网站上,那么需要进入宝塔的网站根目录新建一个新的php文件,比如booo.php

2)右键点击编辑,复制如下代码。

文章加密,密码获取,可加tg获取。入群后直接输入:禁止爬虫采集

tg:https://t.me/rssbig

tg群:https://t.me/joinchat/SKct5jFnL_PUvCFr

输入密码查看隐藏内容:

5、最后

额,很新奇的方法,不过爬虫变成随机UA即可绕过。

参考:https://hostloc.com/thread-831697-1-1.html

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/118709.html

相关文章

  • 宝塔Linux面板免费Nginx防火墙安装使用详细图文教程

    摘要:所以,本文中分享关于宝塔面板免费防火墙安装使用的图文教程。在你宝塔面板软件商店第三方应用免费防火墙,点击立即购买不用花钱,再点击安装,确定安装。注意免费防火墙,和现有的的防火墙只能安装一个,支持系统乌班图。宝塔Linux面板免费nginx防火墙怎么样?宝塔面板nginx免费防火墙是宝塔服务器面板为用户提供的免费使用的网站防火墙,仅限于Nginx web服务器使用。   众所周知,国内...

    GHOST_349178 评论0 收藏0
  • 宝塔Linux面板专业版:收费版Nginx防火墙设置教程

    摘要:宝塔面板专业版的防火墙试用了一下,发现功能还是很丰富的,使用起来也很简单,这篇文章就来说说收费版的防火墙如何设置,算是给初次设置的同学一个参考。直接进入到系统防火墙中。这个专业版的防火墙使用了一圈,突然觉得免费版本的防火墙真香。宝塔Linux面板专业版的nginx防火墙试用了一下,发现功能还是很丰富的,使用起来也很简单,这篇文章就来说说收费版的Nginx防火墙如何设置,算是给初次设置的同学一...

    phpmatt 评论0 收藏0
  • 宝塔Linux面板免费Nginx免费防火墙安装使用教程

    摘要:今天,小编要为大家分享得是宝塔面板免费免费防火墙安装使用教程,这个宝塔免费防火墙功能非常庞大,可以直接屏蔽所有国外,并且黑名单可以有效躲避伪装防屏蔽,而且还有很多安全防御功能,特别是防御。今天,小编要为大家分享得是宝塔Linux面板免费nginx免费防火墙安装使用教程,这个宝塔免费防火墙功能非常庞大,可以直接屏蔽所有国外IP,并且黑名单可以有效躲避伪装IP、防屏蔽IP,而且还有很多安全防御功...

    freewolf 评论0 收藏0
  • 宝塔Linux面板nginx防火墙免费版和nginx防火墙收费版的区别

    摘要:宝塔面板防火墙免费版和防火墙收费版的区别是什么如何进行选择宝塔面板专业版防火墙是宝塔官方推出的,而宝塔面板免费防火墙是第三方推出的,都以插件形式存在于宝塔面板中。宝塔面板nginx防火墙免费版和nginx防火墙收费版的区别是什么?如何进行选择?宝塔面板专业版防火墙是宝塔官方推出的,而宝塔面板免费nginx防火墙是第三方推出的,都以插件形式存在于宝塔面板中。本文中以详细的介绍这两款插件的不同,...

    enda 评论0 收藏0
  • 网站信息采集

    摘要:网站信息采集在编写爬虫之前可能需要先了解和搜集网站信息协议也称为爬虫协议机器人协议等的全称是网络爬虫排除标准,网站通过协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。 网站信息采集 在编写爬虫之前可能需要先了解和搜集网站信息 robots.txt Robots协议(也称为爬虫协议、机器人协议等)的全称是网络爬虫排除标准(Robots Exclusion Protocol),网站通过...

    AZmake 评论0 收藏0

发表评论

0条评论

LeexMuller

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<