Python爬虫基础

bang590 发布于2019-07-25 11:23 / 1606人阅读

摘要：爬虫架构架构组成管理器管理待爬取的集合和已爬取的集合，传送待爬取的给网页下载器。网页下载器爬取对应的网页，存储成字符串，传送给网页解析器。从文档中获取所有文字内容正则匹配后记爬虫基础知识，至此足够，接下来，在实战中学习更高级的知识。

前言

Python非常适合用来开发网页爬虫，理由如下：
1、抓取网页本身的接口
相比与其他静态编程语言，如java，c#，c++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）
此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize

2、网页抓取后的处理
抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。

Life is short, you need python.

PS：python2.x和python3.x有很大不同，本文只讨论python3.x的爬虫实现方法。

爬虫架构 架构组成

URL管理器：管理待爬取的url集合和已爬取的url集合，传送待爬取的url给网页下载器。
网页下载器（urllib）：爬取url对应的网页，存储成字符串，传送给网页解析器。
网页解析器（BeautifulSoup）：解析出有价值的数据，存储下来，同时补充url到URL管理器。

运行流程

URL管理器 基本功能

添加新的url到待爬取url集合中。

判断待添加的url是否在容器中（包括待爬取url集合和已爬取url集合）。

获取待爬取的url。

判断是否有待爬取的url。

将爬取完成的url从待爬取url集合移动到已爬取url集合。

存储方式

1、内存（python内存）
待爬取url集合：set()
已爬取url集合：set()

2、关系数据库（mysql）
urls(url, is_crawled)

3、缓存（redis）
待爬取url集合：set
已爬取url集合：set

大型互联网公司，由于缓存数据库的高性能，一般把url存储在缓存数据库中。小型公司，一般把url存储在内存中，如果想要永久存储，则存储到关系数据库中。

网页下载器（urllib）

将url对应的网页下载到本地，存储成一个文件或字符串。

基本方法

新建baidu.py，内容如下：

import urllib.request

response = urllib.request.urlopen("http://www.baidu.com")
buff = response.read()
html = buff.decode("utf8")
print(html)

命令行中执行python baidu.py，则可以打印出获取到的页面。

构造Request

上面的代码，可以修改为：

import urllib.request

request = urllib.request.Request("http://www.baidu.com")
response = urllib.request.urlopen(request)
buff = response.read()
html = buff.decode("utf8")
print(html)

携带参数

新建baidu2.py，内容如下：

import urllib.request
import urllib.parse

url = "http://www.baidu.com"
values = {"name": "voidking","language": "Python"}
data = urllib.parse.urlencode(values).encode(encoding="utf-8",errors="ignore")
headers = { "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0" }
request = urllib.request.Request(url=url, data=data,headers=headers,method="GET")
response = urllib.request.urlopen(request)
buff = response.read()
html = buff.decode("utf8")
print(html)

使用Fiddler监听数据

我们想要查看一下，我们的请求是否真的携带了参数，所以需要使用fiddler。
打开fiddler之后，却意外发现，上面的代码会报错504，无论是baidu.py还是baidu2.py。

虽然python有报错，但是在fiddler中，我们可以看到请求信息，确实携带了参数。

经过查找资料，发现python以前版本的Request都不支持代理环境下访问https。但是，最近的版本应该支持了才对。那么，最简单的办法，就是换一个使用http协议的url来爬取，比如，换成http://www.csdn.net。结果，依然报错，只不过变成了400错误。

然而，然而，然而。。。神转折出现了！！！
当我把url换成http://www.csdn.net/后，请求成功！没错，就是在网址后面多加了一个斜杠/。同理，把http://www.baidu.com改成http://www.baidu.com/，请求也成功了！神奇！！！

添加处理器

import urllib.request
import http.cookiejar

# 创建cookie容器
cj = http.cookiejar.CookieJar()
# 创建opener
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
# 给urllib.request安装opener
urllib.request.install_opener(opener)

# 请求
request = urllib.request.Request("http://www.baidu.com/")
response = urllib.request.urlopen(request)
buff = response.read()
html = buff.decode("utf8")
print(html)
print(cj)

网页解析器（BeautifulSoup）

从网页中提取出有价值的数据和新的url列表。

解析器选择

为了实现解析器，可以选择使用正则表达式、html.parser、BeautifulSoup、lxml等，这里我们选择BeautifulSoup。
其中，正则表达式基于模糊匹配，而另外三种则是基于DOM结构化解析。

BeautifulSoup 安装测试

1、安装，在命令行下执行pip install beautifulsoup4。
2、测试

import bs4
print(bs4)

使用说明

基本用法

1、创建BeautifulSoup对象

import bs4
from bs4 import BeautifulSoup

# 根据html网页字符串创建BeautifulSoup对象
html_doc = """
The Dormouse"s story

The Dormouse"s story

Once upon a time there were three little sisters; and their names were
Elsie,
Lacie and
Tillie;
and they lived at the bottom of a well.

...
"""
soup = BeautifulSoup(html_doc)
print(soup.prettify())

2、访问节点

print(soup.title)
print(soup.title.name)
print(soup.title.string)
print(soup.title.parent.name)

print(soup.p)
print(soup.p["class"])

3、指定tag、class或id

print(soup.find_all("a"))
print(soup.find("a"))
print(soup.find(class_="title"))
print(soup.find(id="link3"))
print(soup.find("p",class_="title"))

4、从文档中找到所有标签的链接

for link in soup.find_all("a"):
    print(link.get("href"))

出现了警告，根据提示，我们在创建BeautifulSoup对象时，指定解析器即可。

soup = BeautifulSoup(html_doc,"html.parser")

5、从文档中获取所有文字内容

print(soup.get_text())

6、正则匹配

link_node = soup.find("a",href=re.compile(r"til"))
print(link_node)

后记

python爬虫基础知识，至此足够，接下来，在实战中学习更高级的知识。

书签

Python开发简单爬虫
http://www.imooc.com/learn/563

The Python Standard Library
https://docs.python.org/3/lib...

Beautiful Soup 4.2.0 文档
https://www.crummy.com/softwa...

为什么python适合写爬虫？
http://www.cnblogs.com/benzon...

如何学习Python爬虫[入门篇]？
https://zhuanlan.zhihu.com/p/...

你需要这些：Python3.x爬虫学习资料整理
https://zhuanlan.zhihu.com/p/...

如何入门 Python 爬虫？
https://www.zhihu.com/questio...

Python3.X 抓取网络资源
http://www.open-open.com/lib/...

python网络请求和"HTTP Error 504:Fiddler - Receive Failure"
http://blog.csdn.net/guoguo52...

怎么使用Fiddler抓取自己写的爬虫的包？
https://www.zhihu.com/questio...

fiddler对python脚本抓取https包时发生了错误?
https://www.zhihu.com/questio...

HTTPS和HTTP的区别
http://blog.csdn.net/whatday/...

GPU云服务器云服务器 python爬虫基础入门 python爬虫基础知识零基础学python爬虫零基础爬虫

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/38367.html

零基础如何学爬虫技术

摘要：楚江数据是专业的互联网数据技术服务，现整理出零基础如何学爬虫技术以供学习，。本文来源知乎作者路人甲链接楚江数据提供网站数据采集和爬虫软件定制开发服务，服务范围涵盖社交网络电子商务分类信息学术研究等。楚江数据是专业的互联网数据技术服务，现整理出零基础如何学爬虫技术以供学习，http://www.chujiangdata.com。第一：Python爬虫学习系列教程（来源于某博主：htt...

KunMinX 2019-07-25 11:29 评论0 收藏0
Python爬虫学习路线

摘要：以下这些项目，你拿来学习学习练练手。当你每个步骤都能做到很优秀的时候，你应该考虑如何组合这四个步骤，使你的爬虫达到效率最高，也就是所谓的爬虫策略问题，爬虫策略学习不是一朝一夕的事情，建议多看看一些比较优秀的爬虫的设计方案，比如说。（一）如何学习Python 学习Python大致可以分为以下几个阶段： 1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法...

liaoyg8023 2019-07-31 10:27 评论0 收藏0
精通Python网络爬虫(0):网络爬虫学习路线

摘要：以上是如果你想精通网络爬虫的学习研究路线，按照这些步骤学习下去，可以让你的爬虫技术得到非常大的提升。作者：韦玮转载请注明出处随着大数据时代的到来，人们对数据资源的需求越来越多，而爬虫是一种很好的自动采集数据的手段。那么，如何才能精通Python网络爬虫呢？学习Python网络爬虫的路线应该如何进行呢？在此为大家具体进行介绍。 1、选择一款合适的编程语言事实上，Python、P...

spacewander 2019-07-30 14:17 评论0 收藏0
python基础爬虫的框架以及详细的运行流程

摘要：互联网界对于网络爬虫也建立了一定的道德规范协议来约束。基础爬虫的框架以及详细的运行流程基础爬虫框架主要包括五大模块，分别是爬虫调度器管理器下载器解析器数据存储器。网络爬虫是什么？网络爬虫就是：请求网站并提取数据的自动化程序网络爬虫能做什么？网络爬虫被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。showImg...

Scliang 2019-07-31 09:58 评论0 收藏0
【小白+python+selenium库+图片爬取+反爬+资料】超详细新手实现（01）webdriv

摘要：且本小白也亲身经历了整个从小白到爬虫初入门的过程，因此就斗胆在上开一个栏目，以我的图片爬虫全实现过程为例，以期用更简单清晰详尽的方式来帮助更多小白应对更大多数的爬虫实际问题。前言：一个月前，博主在学过python（一年前）、会一点网络（能按F12）的情况下，凭着热血和兴趣，开始了pyth...

Half 2021-09-30 09:48 评论0 收藏0
首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0