爬虫入门到精通-环境的搭建

Jingbin_ 发布于2019-07-25 11:44 / 2678人阅读

摘要：环境的安装本文章属于爬虫入门到精通系统教程第二讲的安装我用的是，也用过但是电脑配置不行，比较卡安装教程在这写的蛮清楚的然后安装一个的插件就行见如下截图点击数字的地方在数字的地方输入点击右边的安装按钮包的安装配置源，不配置的话下载速度很慢在当

环境的安装

本文章属于爬虫入门到精通系统教程第二讲

IDE的安装

IDE我用的是VS code，也用过pycharm（但是电脑配置不行，比较卡）

VScode安装教程在这,写的蛮清楚的

然后安装一个python的插件就行
见如下截图

点击数字1的地方

在数字2的地方输入python

点击python 0.5.8 右边的安装按钮

包的安装 配置pip源，不配置的话下载速度很慢

windows:在当前用户根目录下，创建pip这个文件夹，然后在里面新建一个文件pip.in 里面的内容为

[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com

截图如下（我当前用户名为kimga）

linux：在~/.pip/pip.conf文件中添加或修改（内容同上）

包的安装

直接pip install 包的名字
如 pip install requests

依次安装如下4个包

requests

lxml

ipython

jupyter

如果发现报错的话，

ubuntu用apt-get install python-包名

如 apt-get install python-lxml

windows 在[Unofficial Windows Binaries for Python Extension Packages
](http://www.lfd.uci.edu/~gohlk...这个网站上手动下载然后安装（这个网站有各种python windows扩展包，pip install 报错的话，就可以到这个网站上下载安装）

windows下pip install lxml 很少能安装成功。。。

那我们怎么做呢？

打开Unofficial Windows Binaries for Python Extension Packages这个网址

ctrl+ F，然后在搜索框内输入lxml

找到与你系统版本相同的包,下载

我的python版本是2.7，系统是64位的，所以我选择lxml‑3.7.3‑cp27‑cp27m‑win_amd64.whl

下载完成后在你下载的目录下打开cmd命令行

这边有个小技巧是，找到你下载的目录后，按住shift不放，然后空白处右键，会多出来一个在此处打开命令窗口，不用再慢慢的cd过来

然后pip install 你刚下载的文件，发现就安装成功了

Google浏览器的安装

在百度软件中心下载

记得点普通下载（要不然有可能会收获百度全家桶一份）

下载完正常安装就行

安装可以更换浏览器头的插件

打开 google插件下载这个网页

在输入框内输入 extension ID ffhkkpnppgnfaobgihpdblnhmmbodake

点击下载

![](http://ww1.sinaimg.cn/large/cfc08357gy1fcvui06zb0j20qw0k80x4)

下载完成后，打开Google浏览器，在地址栏输入chrome://extensions/

把刚刚下载的文件拖进去进行

最终效果就下图

总结

看完本篇文章后，你应该要

有一个自己熟悉的python IDE

Python配置国内源

能安装python包

有安装Google浏览器

有可以更换浏览器头的插件

最后，因为后续实战我基本上都是用Jupyter notebook来写调试的，所以请阅读以下两篇文章，能大概了解Jupyter notebook

Jupyter Notebook快速入门（上）

Jupyter Notebook快速入门（下）

最后的最后，收藏的大哥们，能帮忙点个赞么~

GPU云服务器云服务器精通android入门到精通前端入门到精通 webrtc入门到精通物联网入门到精通

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/38577.html

爬虫入门到精通-网页的解析（xpath）

摘要：起初的提出的初衷是将其作为一个通用的介于与间的语法模型。的基本使用要使用我们需要下载，在爬虫入门到精通环境的搭建这一章也说明怎么装，如果还没有安装的话，那就去下载安装吧直接看代码实战吧。本文章属于爬虫入门到精通系统教程第六讲在爬虫入门到精通第五讲中，我们了解了如何用正则表达式去抓取我们想要的内容.这一章我们来学习如何更加简单的来获取我们想要的内容. xpath的解释 XPath即为...

ispring 2019-07-25 11:45 评论0 收藏0
史上最详细Python学习路线-从入门到精通，只需90天

摘要：针对的初学者，从无到有的语言如何入门，主要包括了的简介，如何下载，如何安装，如何使用终端，等各种开发环境进行开发，中的语法和基本知识概念和逻辑，以及继续深入学习的方法。 ...

gghyoo 2021-11-24 09:39 评论0 收藏0
爬虫入门到精通-开始爬虫之旅

摘要：开始爬虫之旅本文章属于爬虫入门到精通系统教程第一讲引言我经常会看到有人在知乎上提问如何入门爬虫爬虫进阶利用爬虫技术能做到哪些很酷很有趣很有用的事情等这一些问题，我写这一系列的文章的目的就是把我的经验告诉大家。开始爬虫之旅本文章属于爬虫入门到精通系统教程第一讲引言我经常会看到有人在知乎上提问如何入门 Python 爬虫？、Python 爬虫进阶？、利用爬虫技术能做到哪些很酷很有趣...

JayChen 2019-07-25 11:44 评论0 收藏0
爬虫入门到精通-网页的解析（正则）

摘要：本文章属于爬虫入门到精通系统教程第五讲在爬虫入门到精通第四讲中，我们了解了如何下载网页，这一节就是如何从下载的网页中获取我们想要的内容万能匹配文章的标题文字我们要获取的如上所示，假如我们要获取文章的标题这几个文字，那么我们应该怎么做呢我本文章属于爬虫入门到精通系统教程第五讲在爬虫入门到精通第四讲中，我们了解了如何下载网页，这一节就是如何从下载的网页中获取我们想要的内容万能匹配 h...

RiverLi 2019-07-25 11:46 评论0 收藏0
爬虫入门到精通-网页的下载

摘要：网页的下载本文章属于爬虫入门到精通系统教程第四讲在爬虫入门到精通第二讲中，我们了解了协议，那么我们现在使用这些协议来快速爬虫吧本文的目标当你看完本文后，你应该能爬取几乎任何的网页使用抓包抓包就是将网络传输发送与接收的数据包进行截获重发编辑转网页的下载本文章属于爬虫入门到精通系统教程第四讲在爬虫入门到精通第二讲中，我们了解了HTTP协议，那么我们现在使用这些协议来快速爬虫吧本文的...

JerryZou 2019-07-25 11:46 评论0 收藏0