Python3网络爬虫实战---14、部署相关库的安装：Scrapyrt、Gerapy

nihao 发布于2019-07-31 10:34 / 2090人阅读

摘要：相关链接官方文档安装推荐使用安装，命令如下命令执行完毕之后即可完成安装。的安装是一个分布式管理模块，本节来介绍一下的安装方式。如果没有错误报出，则证明库已经安装好了。上一篇文章网络爬虫实战部署相关库下一篇文章网络爬虫实战爬虫基础基本原理

上一篇文章：Python3网络爬虫实战---13、部署相关库ScrapydClient、ScrapydAPI
下一篇文章：Python3网络爬虫实战---15、爬虫基础：HTTP基本原理

Scrapyrt的安装

Scrapyrt 为 Scrapy 提供了一个调度的 HTTP 接口，有了它我们不需要再执行 Scrapy 命令而是通过请求一个 HTTP 接口即可调度 Scrapy 任务，Scrapyrt 比 Scrapyd 轻量级，如果不需要分布式多任务的话可以简单使用 Scrapyrt 实现远程 Scrapy 任务的调度。

1. 相关链接

GitHub：https://github.com/scrapinghu...

官方文档：http://scrapyrt.readthedocs.io

2. Pip安装

推荐使用 Pip 安装，命令如下：

pip3 install scrapyrt

命令执行完毕之后即可完成安装。

接下来在任意一个 Scrapy 项目中运行如下命令即可启动 HTTP 服务：

scrapyrt

运行之后会默认在 9080 端口上启动服务，类似的输出结果如下：

scrapyrt
2017-07-12 22:31:03+0800 [-] Log opened.
2017-07-12 22:31:03+0800 [-] Site starting on 9080
2017-07-12 22:31:03+0800 [-] Starting factory

如果想更换运行端口可以使用 -p 参数，如：

scrapyrt -p 9081

这样就会在 9081 端口上运行了。

3. Docker安装

另外 Scrapyrt 也支持 Docker，如想要在 9080 端口上运行，且本地 Scrapy 项目的路径为 /home/quotesbot，可以使用如下命令运行：

docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

这样同样可以在 9080 端口上监听指定的 Scrapy 项目。

Gerapy的安装

Gerapy 是一个 Scrapy 分布式管理模块，本节来介绍一下 Gerapy 的安装方式。

1. 相关链接

GitHub：https://github.com/Gerapy

2. Pip安装

推荐使用 Pip 安装，命令如下：

pip3 install gerapy

3. 测试安装

安装完成之后，可以在 Python 命令行下测试。

$ python3
>>> import gerapy

如果没有错误报出，则证明库已经安装好了。

上一篇文章：Python3网络爬虫实战---13、部署相关库ScrapydClient、ScrapydAPI
下一篇文章：Python3网络爬虫实战---15、爬虫基础：HTTP基本原理

GPU云服务器云服务器 python3爬虫实战网络爬虫实战 python3网络爬虫爬虫实战

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/44059.html

Python3网络爬虫实战---13、部署相关库ScrapydClient、ScrapydAPI

摘要：相关链接使用说明安装推荐使用安装，命令如下验证安装安装成功后会有一个可用命令，叫做，即部署命令。我们可以输入如下测试命令测试是否安装成功如果出现如图类似输出则证明已经成功安装图运行结果在后文我们会详细了解它的用法。上一篇文章：Python3网络爬虫实战---12、部署相关库的安装：Docker、Scrapyd下一篇文章：Python3网络爬虫实战---14、部署相关库的安装：Scra...

lolomaco 2019-07-31 10:34 评论0 收藏0
Python3网络爬虫实战---15、爬虫基础：HTTP基本原理

摘要：上一篇文章网络爬虫实战部署相关库的安装下一篇文章网络爬虫实战网页基础在写爬虫之前，还是需要了解一些爬虫的基础知识，如原理网页的基础知识爬虫的基本原理基本原理等。由万维网协会和工作小组共同合作制定的规范，目前广泛使用的是版本。上一篇文章：Python3网络爬虫实战---14、部署相关库的安装：Scrapyrt、Gerapy下一篇文章：Python3网络爬虫实战---16、Web网页基础...

codeGoogle 2019-07-31 10:34 评论0 收藏0
Python3网络爬虫实战---12、部署相关库的安装：Docker、Scrapyd

摘要：阿里云安装脚本安装脚本两个脚本可以任选其一，速度都非常不错。推荐的加速器有和阿里云。阿里云不同平台的镜像加速方法配置可以参考的官方文档。以上便是的安装方式说明。上一篇文章网络爬虫实战爬虫框架的安装下一篇文章网络爬虫实战部署相关库上一篇文章：Python3网络爬虫实战---11、爬虫框架的安装：ScrapySplash、ScrapyRedis下一篇文章：Python3网络爬虫实战---...

ityouknow 2019-07-31 10:34 评论0 收藏0
Python3网络爬虫实战---10、爬虫框架的安装：PySpider、Scrapy

摘要：所以如果对爬虫有一定基础，上手框架是一种好的选择。缺少包，使用安装即可缺少包，使用安装即可上一篇文章网络爬虫实战爬取相关库的安装的安装下一篇文章网络爬虫实战爬虫框架的安装上一篇文章：Python3网络爬虫实战---9、APP爬取相关库的安装：Appium的安装下一篇文章：Python3网络爬虫实战---11、爬虫框架的安装：ScrapySplash、ScrapyRedis 我们直接...

张宪坤 2019-07-31 10:34 评论0 收藏0
Python3网络爬虫实战---11、爬虫框架的安装：ScrapySplash、ScrapyRedi

摘要：上一篇文章网络爬虫实战爬虫框架的安装下一篇文章网络爬虫实战部署相关库的安装的安装是一个中支持渲染的工具，本节来介绍一下它的安装方式。另外一个是的库的安装，安装之后即可在中使用服务。上一篇文章：Python3网络爬虫实战---10、爬虫框架的安装：PySpider、Scrapy下一篇文章：Python3网络爬虫实战---12、部署相关库的安装：Docker、Scrapyd Scrap...

harryhappy 2019-07-31 10:34 评论0 收藏0