scrapy提升篇之配置

刘永祥发布于2019-07-31 10:55 / 606人阅读

摘要：提升篇之配置增加并发并发是指同时处理的的数量。其有全局限制和局部每个网站的限制。使用级别来报告这些信息。在进行通用爬取时并不需要，搜索引擎则忽略。禁止能减少使用率及爬虫在内存中记录的踪迹，提高性能。

scrapy提升篇之配置 增加并发

并发是指同时处理的request的数量。其有全局限制和局部(每个网站)的限制。
Scrapy默认的全局并发限制对同时爬取大量网站的情况并不适用，因此您需要增加这个值。增加多少取决于您的爬虫能占用多少CPU。一般开始可以设置为 100 。不过最好的方式是做一些测试，获得Scrapy进程占取CPU与并发数的关系。为了优化性能，您应该选择一个能使CPU占用率在80%-90%的并发数
在setting.py文件中写上CONCURRENT_REQUESTS = 100，scrapy中默认的并发数是32

降低log级别

当进行通用爬取时，一般您所注意的仅仅是爬取的速率以及遇到的错误。 Scrapy使用 INFO log级别来报告这些信息。为了减少CPU使用率(及记录log存储的要求), 在生产环境中进行通用爬取时您不应该使用 DEBUG log级别。不过在开发的时候使用 DEBUG 应该还能接受。
setting.py文件中设置LOG_LEVEL = "INFO"

禁止cookies

除非您真的需要，否则请禁止cookies。在进行通用爬取时cookies并不需要， (搜索引擎则忽略cookies)。禁止cookies能减少CPU使用率及Scrapy爬虫在内存中记录的踪迹，提高性能。
COOKIES_ENABLED = False

禁止重试

对失败的HTTP请求进行重试会减慢爬取的效率，尤其是当站点响应很慢(甚至失败)时，访问这样的站点会造成超时并重试多次。这是不必要的，同时也占用了爬虫爬取其他站点的能力。

RETRY_ENABLED = False

减少下载超时

如果您对一个非常慢的连接进行爬取(一般对通用爬虫来说并不重要)，减小下载超时能让卡住的连接能被快速的放弃并解放处理其他站点的能力。

DOWNLOAD_TIMEOUT = 15,其中15是设置的下载超时时间

禁止重定向

除非您对跟进重定向感兴趣，否则请考虑关闭重定向。当进行通用爬取时，一般的做法是保存重定向的地址，并在之后的爬取进行解析。这保证了每批爬取的request数目在一定的数量，否则重定向循环可能会导致爬虫在某个站点耗费过多资源。

REDIRECT_ENABLED = False

使用user_agent池

详细使用方法请看设置请求池

使用ip代理池

因为本人是学生党，因此暂时找到不到比较好的代理，所以这里只是写了一个一般的设置代理池的方法，不过在以后会写一个更好的代理池，用数据实现，详情请看代理ip设置方法

设置延迟

DOWMLOAD_DELY=3,设置延迟下载可以避免被发现

启用调试工具 命令行调试

scrapy shell url 查看网页，不过这种方式可能对于要请求头的网页不行，对于一般的网页还是可以的

scrapy view shell 用来查看动态加载的网页，如果查看的网页用了动态加载，那么用这个命令行打开的网页就是不完整的，肯定缺少了什么

编辑器中的调试

在页面的任意位置添加如下代码

from scrapy.shell import inspect_response
def paser(self,response):
    inspect_response(response,self)     #当程序运行到这里就会跳出终端，并且在终端出现调试命令，当然这个可以随便写在哪里

暂停和恢复爬虫

初学者最头疼的事情就是没有处理好异常，当爬虫爬到一半的时候突然因为错误而中断了，但是这时又不能从中断的地方开始继续爬，顿时感觉心里日了狗，但是这里有一个方法可以暂时的存储你爬的状态，当爬虫中断的时候继续打开后依然可以从中断的地方爬，不过虽说持久化可以有效的处理，但是要注意的是当使用cookie临时的模拟登录状态的时候要注意cookie的有效期

只需要在setting.py中JOB_DIR=file_name 其中填的是你的文件目录，注意这里的目录不允许共享，只能存储多带带的一个spdire的运行状态，如果你不想在从中断的地方开始运行，只需要将这个文件夹删除即可

当然还有其他的放法：scrapy crawl somespider -s JOBDIR=crawls/somespider-1，这个是在终端启动爬虫的时候调用的，可以通过ctr+c中断，恢复还是输入上面的命令

不按照robots.txt

ROBOTSTXT_OBEY = False

配置请求头

只需要在settings中取消相应的设置即可

DEFAULT_REQUEST_HEADERS={{
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Accept-Language": "en",
    "User-Agent":"......"   #在此处设置
}}

更多文章请移步本人博客

云服务器 GPU云服务器腾讯云服务器提升cpu配置 scrapy scrapy 爬虫 scrapy python

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/44339.html

Python爬虫之Scrapy学习（基础篇）

摘要：下载器下载器负责获取页面数据并提供给引擎，而后提供给。下载器中间件下载器中间件是在引擎及下载器之间的特定钩子，处理传递给引擎的。一旦页面下载完毕，下载器生成一个该页面的，并将其通过下载中间件返回方向发送给引擎。作者：xiaoyu微信公众号：Python数据科学知乎：Python数据分析师在爬虫的路上，学习scrapy是一个必不可少的环节。也许有好多朋友此时此刻也正在接触并学习sc...

pkhope 2019-07-31 11:05 评论0 收藏0
Flutter是跨平台开发终极之选吗？Android开发该如何快速上手Flutter？

摘要：月日，谷歌正式发布了的。到底能不能成为跨平台开发终极之选是基于前端诞生的，但是对前端开发来说，的环境配置很麻烦，需要原生的平台知识，还要担心遇上网络问题。现在已经不是曾经的小众框架，这两年里它已经逐步成长为主流的跨平台开发框架之一。 ...

luckyyulin 2021-09-07 09:59 评论0 收藏0
前端工程化篇之 Gulp

摘要：是一个构建工具，基于的平台运行，使用的是的模块化语法。我们使用需要用到的包一个任务，对应一个包，对应一个处理逻辑对应的是同步任务，从左到右，依次执行任务。时间长对应的是异步任务，效率高，时间短。 gulp 是一个构建工具，基于Node.js的平台运行，使用的是commonJs的模块化语法。我们使用gulp需要用到的包一个TASK任务，对应一个包，对应一个处理逻辑、 gulp.s...

Donald 2019-08-23 16:20 评论0 收藏0
前端工程化篇之 Gulp

摘要：是一个构建工具，基于的平台运行，使用的是的模块化语法。我们使用需要用到的包一个任务，对应一个包，对应一个处理逻辑对应的是同步任务，从左到右，依次执行任务。时间长对应的是异步任务，效率高，时间短。 gulp 是一个构建工具，基于Node.js的平台运行，使用的是commonJs的模块化语法。我们使用gulp需要用到的包一个TASK任务，对应一个包，对应一个处理逻辑、 gulp.s...

LeanCloud 2019-08-02 16:09 评论0 收藏0