摘要：想办法区分爬虫程序和正常的用户。爬虫是工具性程序，对速度和效率要求较高。生态圈完善，是最大对手。最要命的是爬虫需要经常修改部分代码。爬虫分类通用爬虫也就是百度搜狐等搜索引擎。原本是为测试来测试网站的，后来成了爬虫工程师最喜爱的工具。 一、爬虫的基本知识： 1. 什么是爬虫 爬虫的英文翻译为spider或者crawder,意为蜘蛛或者爬行者，从字面意思我们可以体会到：爬虫就是把自己当做蜘...
摘要：里提供了多个用于控制多线程同步的同步原语，这些原语，包含在的标准库当中。例如总结多线程同步，说难也难，说不难也很容易，关键是要看你的业务场景和解决问题的思路，尽量降低多线程之间的依赖，理清楚业务流程，选择合适的方法，则事尽成。 概述 多线程给我们带来的好处是可以并发的执行多个任务，特别是对于I/O密集型的业务，使用多线程，可以带来成倍的性能增长。 可是当我们多个线程需要修改同一个数据...
摘要：配置进行基础用户验证使用指令指定设置受保护区域的名称，此名称会显示在账号密码弹窗上，使用指令设置带有账户密码信息的路径。例如配置此外，如果某个区块不想继承整个认证体系，可以在区块内设置即用户认证关闭状态。通过和身份验证将限制与指令相结合。 原文链接： 何晓东 博客 应用场景：大概是在内部网站需要外部用户访问到，同时不能给访问者网站账号权限，所以在 nginx 层面进行限制。例如外包项目...
摘要：因为，从版本才开始默认支持，并移除了模块。为了文章的完整性，再简单说一下的安装。在安装之前，请确保安装了和可用进行安装。先进入安装目录，分别安装。然后编译安装启动这样你的就基本搭建完成了。下一节笔者将详细讲述如何使用配置。 前几天为了使自己的接口支持https，就想直接使用http/2.0，配置的过程中遇到一些小坑，写个文章记录一下，另外希望对刚开始配置的读者一些帮助和参考。明确我们的...
摘要：什么是正向代理呢正向代理中，客户端通过代理服务器从服务端收发数据，即为正向代理。反向代理又是什么反向代理中，代理服务器替服务端收发数据，所有的请求与相应都经过反向代理，可以用来实现数据缓存，负载均衡等。 什么是代理 在计算机中，客户端A与服务端B进行通信，中间加入中介C进行数据传递，则形成了代理。来个浅显易懂的比喻，三年级二班小明和小花谈恋爱，由于小明和小花座位离的太远，这时候需要小王...
