摘要：，首先把爬虫项目上传到服务器我的服务器架设在公司内网里。部署名会在后面的部署项目环节用到。新项目创建创建完成。，部署项目的文件想要爬虫程序真正进行抓取起来，还有一步。选择文件，部署文件至此，部署爬虫项目就结束了。
1，首先把scrapy爬虫项目上传到服务器
我的服务器架设在公司内网里。所以在这里使用WinSCP作为上传工具。
2，修改项目的配置文件scrapy.cfg
给爬虫项目指定分组，具体方法是在deploy:之后添加部署名，比如图中的项目，部署名是sf。
部署名会在后面的部署项目环节用到。
打开url行的注释，并且配置一台安装scrapyd的服务器
3，使用scrapyd-deploy部署爬虫项目到linux
在命令行输入 scrapyd-deploy -l 可以显示当前部署的项目
4，执行打包命令，完成项目部署
scrapyd-deploy 部署名 -p 项目名
5，然后编译爬虫项目
依然使用scrapyd-deploy命令完成
scrapyd-deploy --build-egg 项目编译文件.egg
6，在spiderkeeper中新建项目
点击projects按钮，
选择create project选项
随后弹出遮罩框，然后给新项目起名字，点击create按钮。新项目创建创建完成。
7，部署项目的egg文件
想要爬虫程序真正进行抓取起来，还有一步。就是将egg文件部署到项目上。
选择egg文件，部署文件
至此，scrapyd部署爬虫项目就结束了。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/42813.html
摘要：阿里云安装脚本安装脚本两个脚本可以任选其一，速度都非常不错。推荐的加速器有和阿里云。阿里云不同平台的镜像加速方法配置可以参考的官方文档。以上便是的安装方式说明。上一篇文章网络爬虫实战爬虫框架的安装下一篇文章网络爬虫实战部署相关库 上一篇文章：Python3网络爬虫实战---11、爬虫框架的安装：ScrapySplash、ScrapyRedis下一篇文章：Python3网络爬虫实战---...
摘要：分布式爬虫，分发网址是基于地址。注意要使用管理同一个集群，爬虫项目名称须一致，同时集群中配置相同任务浏览器访问启动爬虫时即可看见两个集群配置，启动同名爬虫开始分布式爬虫启动分布式爬虫后状态 Scrapy-cluster 建设 基于Scrapy-cluster库的kafka-monitor可以实现分布式爬虫 Scrapyd+Spiderkeeper实现爬虫的可视化管理 环境 IP...
摘要：下载器负责获取页面，然后将它们交给引擎来处理。内置了一些下载器中间件，这些中间件将在后面介绍。下载器中间件下载器中间件可以在引擎和爬虫之间操纵请求和响应对象。爬虫中间件与下载器中间件类似，启用爬虫中间件需要一个字典来配置。 前段时间我写了一篇《scrapy快速入门》，简单介绍了一点scrapy的知识。最近我的搬瓦工让墙了，而且我又学了一点mongodb的知识，所以这次就来介绍一些scr...
摘要：支持一键部署项目到集群。添加邮箱帐号设置邮件工作时间和基本触发器，以下示例代表每隔小时或当某一任务完成时，并且当前时间是工作日的点，点和点，将会发送通知邮件。除了基本触发器，还提供了多种触发器用于处理不同类型的，包括和等。 showImg(https://segmentfault.com/img/remote/1460000018772067?w=1680&h=869); 安装和配置 ...
摘要：以上示例代表当发现条或条以上的级别的时，自动停止当前任务，如果当前时间在邮件工作时间内，则同时发送通知邮件。 showImg(https://segmentfault.com/img/remote/1460000018052810); 一、需求分析 初级用户： 只有一台开发主机 能够通过 Scrapyd-client 打包和部署 Scrapy 爬虫项目，以及通过 Scrapyd JS...
阅读 1712·2021-11-18 13:20
阅读 1113·2021-10-11 10:59
阅读 2941·2021-08-24 10:01
阅读 3486·2019-08-29 14:21
阅读 3326·2019-08-29 14:15
阅读 3500·2019-08-26 12:23
阅读 3326·2019-08-26 11:46
阅读 3326·2019-08-26 11:35
