Scrapy学习（一）安装

lushan 发布于2019-07-25 11:28 / 2525人阅读

摘要：安装及下载文件验证是否正确安装接下来，下载网上人家编译好的文件用搜索如下文件注后为版本，我是位的版本最后测试一下安装是否成功

在开篇之前，不得不吐槽一下，配置Scrapy是我
搞python后配置环境最久的一次了。我赶紧将四小时的配置过程写下来，以免浪费了这些宝贵的踩坑经验。

安装

在安装Scrapy之前，要先安装相关的依赖模块，否则无论你是手动pip安装还是用IDE（如Pycharm自动安装都会报错

error: Unable to find vcvarsall.bat

因为pip无法正常的安装一些依赖，所以我们要用wheel来安装。

安装wheel及下载.whl文件

pip install wheel

验证wheel是否正确安装

接下来，下载网上人家编译好的.whl文件

http://www.lfd.uci.edu/~gohlk...

用Ctrl + F搜索如下文件

lxml-3.7.2-cp35-cp35m-win_amd64.whl
pywin32-220.1-cp35-cp35m-win_amd64.whl
zope.interface-4.3.3-cp35-cp35m-win_amd64.whl
pyOpenSSL-16.2.0-py2.py3-none-any.whl
Twisted-16.6.0-cp35-cp35m-win_amd64.whl
Scrapy-1.3.0-py2.py3-none-any.whl

注： cp后为python版本，我是64位python3.5的版本

最后测试一下安装是否成功

scrapy startproject myproject

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/38423.html

【python爬虫学习】python3.7 scrapy 安装，demo实例，实践：爬取百度

摘要：安装可能的问题问题解决实例教程中文教程文档第一步创建项目目录第二步进入创建爬虫第三步创建存储容器，复制项目下的重命名为第四步修改提取数据引入数据容器第五步解决百度首页网站抓取空白问题设置设置用户代理解决相关解决数据保存乱 pip 安装 pip install scrapy 可能的问题：问题/解决：error: Microsoft Visual C++ 14.0 is requi...

asoren 2019-07-30 18:36 评论0 收藏0
Scrapy学习（二）入门

摘要：快速入门接上篇学习一安装，安装后，我们利用一个简单的例子来熟悉如何使用创建一个爬虫项目。创建一个项目在已配置好的环境下输入系统将在当前目录生成一个的项目文件。这部分才是业务的核心部分。提取的方式有几种。具体代码详见入门项目快速入门接上篇Scrapy学习（一）安装，安装后，我们利用一个简单的例子来熟悉如何使用Scrapy创建一个爬虫项目。创建一个Scrapy项目在已配置好的环境...

Astrian 2019-07-25 11:28 评论0 收藏0
小白爬虫scrapy第一篇

摘要：如果想先学习的话推荐看下基础教学菜鸟教程这个网站的教程里面的内容还是挺不错的非常适合小白学习好了废话不多说开始学习如何安装吧安装我上篇小白爬虫篇简介下面的链接安装包后在或者在中输入命令过程中可能会问你是否安装其他扩展包选按回车就好了安装完成如果想先学习python的话推荐看下Python基础教学|菜鸟教程这个网站的教程,里面的内容还是挺不错的非常适合小白学习好了废话不多说开始学习如何...

beanlam 2019-07-30 15:08 评论0 收藏0
windows下安装python+scrapy

摘要：好啦一切准备工作就绪，现在开始安装库安装成功后，安装就简单了，在命令提示符窗口直接输入命令回车现在一切都搞定了，可以新建一个测试，敲一个基于框架的爬虫程序咯。最近忽然有了想要学习python爬虫的想法，但是首先需要安装工具。python安装倒是很轻松，只要傻瓜式一键安装即可，但是在Windows下安装scrapy倒不是件容易的事情。言归正传，说下我从昨天下午到今天上午安装的步骤： 1...

dantezhao 2019-07-30 14:22 评论0 收藏0