windows下安装python+scrapy

dantezhao 发布于2019-07-30 14:22 / 2775人阅读

摘要：好啦一切准备工作就绪，现在开始安装库安装成功后，安装就简单了，在命令提示符窗口直接输入命令回车现在一切都搞定了，可以新建一个测试，敲一个基于框架的爬虫程序咯。

最近忽然有了想要学习python爬虫的想法，但是首先需要安装工具。python安装倒是很轻松，只要傻瓜式一键安装即可，但是在Windows下安装scrapy倒不是件容易的事情。言归正传，说下我从昨天下午到今天上午安装的步骤：

1、python的安装

进入python的官网https://www.python.org/，点击downloads选项进入下载页，如图：

根据自己的机型，选择下载对应的安装包，我下载的是python 3.5.3版本的：

选定下载位置，傻瓜式一键安装即可。实际上，32位和64位的版本安装起来没有区别，双击打开后，第一步要记得勾上add python to Path 选项，这样的好处是自动配置环境变量

可在命令提示符中用命令python --version，验证安装是否成功：

到此，python已经安装好了！！！是不是hin简单~接下来安装scrapy吧^-^

2、scrapy的安装

先安装pywin32,进入https://sourceforge.net/proje...，下载与已安装python版本对应的pywin64安装包，例如python3.4 64位对应的安装包为pywin32-218.win-amd64-py3.4.exe，下载完成后一直next安装，依然是傻瓜式安装法

检查安装结果,在python命令行输入import win32api，如果没有报错说明安装完成，如果报错说明PYTHONPATH环境变量没有配置

配置PYTHONPATH环境变量,将python安装目录下lib目录中的site-packages路径添加到PYTHONPATH环境变量，再次检验安装结果

安装Twisted,进入http://www.lfd.uci.edu/~gohlk...下载对应twisted和lxml

打开命令提示符窗口，输入命令：
pip install D:downloadsTwisted-16.4.1-cp35-cp35m-win_amd64.whl(下载好的twisted模块的whl文件路径)，盗一下别人的图

再输入命令：pip --version,检查安装是否成功

3、pip的安装，估计因为我安装的版本自动配置环境变量，所以我好像没有下载pip，就可以用pip命令

如图：

但是，如果安装pip的话，同样要去python的官网下载，下载地址是https://pypi.python.org/pypi/... ，选择相应版本下载，下载完成之后，解压到文件夹。在该文件夹的目录下使用控制台命令：输入python setup.py install;并添加入环境变量。

好啦！一切准备工作就绪，现在开始安装scrapy~

twisted库安装成功后，安装scrapy就简单了，在命令提示符窗口直接输入命令： pip install scrapy 回车

现在一切都搞定了，可以新建一个Scrapy测试，敲一个基于Scrapy框架的爬虫程序咯。

心得：Windows下的安装过程还是很麻烦的，因为有很多依赖要添加，不过在各方查找资料以后仿佛就不是那么难了！一步一步在cmd中运行测试，还要看错误提示，少哪一个依赖就下载哪一个安装哪一个！环境框架已经搭好，接下来就是学习如何写爬虫程序了。
再贴两个链接吧：
1、 https://segmentfault.com/a/11...
2、 http://jingyan.baidu.com/arti...

GPU云服务器云服务器 Python安装Scrapy windows下安装教程 windows下安装webrtc windows下eclipse安装

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/40670.html

基于 Python 的 Scrapy 爬虫入门：环境搭建

摘要：一基础环境由于不是职业的开发者，因此环境是基于的。二安装打开命令行工具创建虚拟环境，默认情况下会创建目录，所有的虚拟环境都会产生一个子目录保存在此，里面包含基本程序文件以及库文件。目录基于 Python 的 Scrapy 爬虫入门：环境搭建基于 Python 的 Scrapy 爬虫入门：页面提取基于 Python 的 Scrapy 爬虫入门：图片处理作为一个全栈工程师（...

Gu_Yan 2019-07-31 11:00 评论0 收藏0
Python3网络爬虫实战---10、爬虫框架的安装：PySpider、Scrapy

摘要：所以如果对爬虫有一定基础，上手框架是一种好的选择。缺少包，使用安装即可缺少包，使用安装即可上一篇文章网络爬虫实战爬取相关库的安装的安装下一篇文章网络爬虫实战爬虫框架的安装上一篇文章：Python3网络爬虫实战---9、APP爬取相关库的安装：Appium的安装下一篇文章：Python3网络爬虫实战---11、爬虫框架的安装：ScrapySplash、ScrapyRedis 我们直接...

张宪坤 2019-07-31 10:34 评论0 收藏0
在 Windows 下安装 Scrapy

摘要：也就是说，这些基本库都要安装好。这次的安装环境是，电脑是位，主要用安装。最后就是安装了，在里面安装直接用安装说明听说用安装可简单了，一个命令就搞定了，可惜我懒得试了。 0 前言因为要学一点爬虫，我要安装 Scrapy 这个库，直接用 Pycharm 安装就报错， pip 也不行，所以要把 Scrapy 依赖的库安装好，然后再安装 Scrapy 。也就是说，lxml、pyOpenSS...

QiuyueZhong 2019-07-30 16:39 评论0 收藏0