服务器上部署scrapy爬虫项目

UnixAgain 发布于2019-07-31 11:17 / 1926人阅读

摘要：爬爬们，如果你已经开始部署项目了，那么你肯定也已经写好了完整的爬虫项目，恭喜你，你很优秀今天忙了小半天的服务器部署，跟大家分享一些心得首先我们要有一台服务器，不好意思，这是废话，略过。。。。。

爬爬们，如果你已经开始部署项目了，那么你肯定也已经写好了完整的爬虫项目，恭喜你，你很优秀！
**今天忙了小半天的服务器部署，跟大家分享一些心得～

首先我们要有一台服务器，不好意思，这是废话，略过。。。。。

安装python

   # 下载安装包，好习惯可以自己创建文件夹/home/download/
   $ wget https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz
   # 解压
   $ tar zxvf Python-3.4.1.tgz /us
   3进入解压后的目录，执行安装配置
   $ ./configure
   #或指定安装目录
   $ ./configure --prefix=/opt/python3
   $ make
   $ make install
   #安装后建立一个链接，这样我们可以用python3直接运行程序，和python2区别开来。
   $ ln -s /opt/python3/bin/python3 /usr/bin/python3

注意：1.在安装之前最好要安装各种依赖包

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

若已经安装python3并改软链接了，请修改/usr/bin/yum文件中的第一行python后加2.？版本号，还有一个文件需要修改叫什么我忘记了，同理

注意：2.pip3安装之前要建立pip3软连接

$ ln -s /opt/python3/bin/pip3 /usr/bin/pip3

3.安装scrapy

在这里我们先安装scrapyd避免手动安装scrapy需要的插件
pip3 install scrapyd
pip3 install scrapy

注意：若没有在第二步安装依赖环境 sqlite-devel，那么在启动scrapyd的时候会报错。
安装各种依赖包最好创建虚拟环境，

#安装
pip3 install virtualenv
#建立软连接
$ ln -s /opt/python3/bin/virtualenv /usr/bin/virtualenv
#进入项目目录创建虚拟环境
$ virtualenv venv
# 在venv/bin目录下
source activate

云服务器 GPU云服务器服务器上如何部署项目 scrapy 爬虫如何部署项目到服务器上怎么云服务器上部署项目

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/44950.html

小程序开发（一）：使用scrapy爬虫采集数据

摘要：用途广泛，可以用于数据挖掘监测和自动化测试。运行下，发现数据全部存到了数据库中。提供了一些接口来查看项目爬虫情况，以及执行或者停止执行爬虫。完成小程序所需要的所有接口的开发，以及使用定时任务执行爬虫脚本。过完年回来，业余时间一直在独立开发一个小程序。主要数据是8000+个视频和10000+篇文章，并且数据会每天自动更新。我会整理下整个开发过程中遇到的问题和一些细节问题，因为内容会比...

mrli2016 2019-07-31 10:19 评论0 收藏0
部署Scrapy分布式爬虫项目

摘要：以上示例代表当发现条或条以上的级别的时，自动停止当前任务，如果当前时间在邮件工作时间内，则同时发送通知邮件。 showImg(https://segmentfault.com/img/remote/1460000018052810); 一、需求分析初级用户：只有一台开发主机能够通过 Scrapyd-client 打包和部署 Scrapy 爬虫项目，以及通过 Scrapyd JS...

techstay 2019-07-31 10:01 评论0 收藏0
scrapy 进阶使用

摘要：下载器负责获取页面，然后将它们交给引擎来处理。内置了一些下载器中间件，这些中间件将在后面介绍。下载器中间件下载器中间件可以在引擎和爬虫之间操纵请求和响应对象。爬虫中间件与下载器中间件类似，启用爬虫中间件需要一个字典来配置。前段时间我写了一篇《scrapy快速入门》，简单介绍了一点scrapy的知识。最近我的搬瓦工让墙了，而且我又学了一点mongodb的知识，所以这次就来介绍一些scr...

The question 2019-07-31 11:02 评论0 收藏0
Scrapy-Cluster结合Spiderkeeper管理分布式爬虫

摘要：分布式爬虫，分发网址是基于地址。注意要使用管理同一个集群，爬虫项目名称须一致，同时集群中配置相同任务浏览器访问启动爬虫时即可看见两个集群配置，启动同名爬虫开始分布式爬虫启动分布式爬虫后状态 Scrapy-cluster 建设基于Scrapy-cluster库的kafka-monitor可以实现分布式爬虫 Scrapyd+Spiderkeeper实现爬虫的可视化管理环境 IP...

bingo 2019-07-30 17:45 评论0 收藏0
Python3网络爬虫实战---14、部署相关库的安装：Scrapyrt、Gerapy

摘要：相关链接官方文档安装推荐使用安装，命令如下命令执行完毕之后即可完成安装。的安装是一个分布式管理模块，本节来介绍一下的安装方式。如果没有错误报出，则证明库已经安装好了。上一篇文章网络爬虫实战部署相关库下一篇文章网络爬虫实战爬虫基础基本原理上一篇文章：Python3网络爬虫实战---13、部署相关库ScrapydClient、ScrapydAPI下一篇文章：Python3网络爬虫实战--...

nihao 2019-07-31 10:34 评论0 收藏0