爬虫问题总结

nanfeiyan 发布于2019-07-30 16:34 / 1134人阅读

摘要：编码我们发现，中有时候存在中文，这是就需要对进行编码。可以先将中文转换成编码，然后使用方法对参数进行编码后传递。

本文档对日常学习中用 python 做数据爬取时所遇到的一些问题做简要记录，以便日后查阅，部分问题可能因为认识不到位会存在一些误解，敬请告知，万分感谢，共同进步。

估算网站规模

该小节主要针对于整站爬取的情况。
爬取整站之前，肯定是要先对一个网站的规模进行估计。这是可以使用google搜索查看大概有多少个网址，这里使用到google搜索的一个小技巧。

site:url地址

有的时候可查看网站的sitemap.xml，但它有时候会过期或者滞后，不是很准确。

识别网站所用技术

要爬的网站使用的技术会影响到我们所写的代码中的处理手段。
推荐使用builtwith这个第三方包，可以使用pip来安装。
简单使用如下：

In [1]: import builtwith

In [2]: builtwith.parse("http://example.webscraping.com/")
Out[2]:
{u"javascript-frameworks": [u"jQuery", u"Modernizr", u"jQuery UI"],
 u"programming-languages": [u"Python"],
 u"web-frameworks": [u"Web2py", u"Twitter Bootstrap"],
 u"web-servers": [u"Nginx"]}

伪装成浏览器

UA，即 User-Agent，是Http协议的一部分，属于头域的组成部分，发送 http 请求时，请求头中会有 User-Agent字段。服务器通过该字段来分辨发送请求的浏览器类型、版本、内核以及操作系统信息等。
在浏览器 console 可用如下命令来获得该浏览器的 UA 标识

navigator.userAgent

部分网站不想被爬虫爬取就会检查 http 请求头的该字段内容，所以在用爬虫做抓取时，通常要在请求头加上该字段，以把自己伪装成浏览器。有时候通过手机浏览器访问得到的页面会更加简洁，更容易抓取，所以伪装成手机浏览器也是一种好方法。
网上有很多整理的不同浏览器的 UA ，比如各种浏览器UserAgent一览表。
浏览器野史 UserAgent列传（上）和浏览器野史 UserAgent列传（下），这两篇文章细说了 UA 的来龙去脉，去感受下当时波澜壮阔的“浏览器之战”。

防盗链

部分服务器会检查 http 请求头的 Referer 字段来判断你是否是从指定页面跳转而来的，以达到防盗链的作用。因此在伪装请求头部的时候，该字段也是不容忽视的。

url 编码

我们发现，URL 中有时候存在中文，这是就需要对 url 进行编码。
可以先将中文转换成 utf-8 编码，然后使用 urllib2.quote 方法对参数进行 url 编码后传递。

import urllib
param = u"你好"
param = param.encode("utf-8")
param = urllib.quote(param)

对于 url 来说，之所以要进行编码，是因为 url 中有些字符会引起歧义。
同理使用 unquote 可以解码。

动态加载问题

经常会遇到这样情况：将网页拖到底部会自动往下加载新的数据，或者有加载更多这样的按钮，这里说的就是 AJAX 了。

AJAX 是 Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）的缩写。它通过使用原有的 web 标准组件，实现了在不重新加载整个页面的情况下，与服务器进行数据交互。例如在新浪微博中，你可以展开一条微博的评论，而不需要重新加载，或者打开一个新的页面。但是这些内容并不是一开始就在页面中的（这样页面就太大了），而是在你点击的时候被加载进来的。这就导致了你抓取这个页面的时候，并不能获得这些评论信息（因为你没有『展开』）。

AJAX 一般是通过 XMLHttpRequest 对象接口发送请求的，XMLHttpRequest 一般被缩写为 XHR。

通过审查元素找请求的 js 地址

这些 js 的名字通常看起来与其他的不太一样。
拿澎湃网举个栗子，这才是发送请求获得文章的真正地址，

AJAX 的一种常见用法是使用 AJAX 加载 JSON 数据，然后在浏览器端渲染。
这种情况很好处理，因为 python 自带的处理 json 的库，举个栗子：
豌豆荚安卓游戏排行榜，每次点击更多会加载新的数据。在审查元素里，可以看到每次点击查看更多，都会返回一个包含应用数据详细信息的数据。

查看请求 json 数据的地址
http://apps.wandoujia.com/api...
max 参数的值表示这一次请求返回多少个 app 信息， start 参数的值表示从第几个 app 开始，start 从 0 开始。

另外，在构建请求头时，应该加上这个参数 "X-Requested-With": "XMLHttpRequest",当使用 XHR 发送 AJAX 请求时 Header 会带上这个字段，常被用于判断是不是 AJAX 请求。

Selenium+PhantomJS

Selenium 是一个强大的网络数据采集工具，最初是为网站自动测试而开发的。它可以让浏览器自动加载页面，获取所需要的数据，甚至页面截屏，或者判断网站上某些动作事都发生。

对应的 python 库，可以用 pip 安装。
PhantomJS 是一个 headless browser，它会把网站加载到内存并执行页面上的 JavaScript，但是不会向用户展示网页的图形界面。它不是python库，需要多带带下载(喏，你要的官网)。
写一个简单的栗子：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.PhantomJS(executable_path="")
driver.get("http://www.python.org")
assert "Python" in driver.title
elem = driver.find_element_by_name("q")
elem.clear()
elem.send_keys("pycon")
elem.send_keys(Keys.RETURN)
assert "No results found." not in driver.page_source
driver.close()

Path to PhantomJs 处需要指定位置，如果该路径已经加入到了环境变量中，那么可以不加这个参数。
这里只是个简单的介绍，后续会对 Selenium 的 python 版 API 的使用做多带带介绍。

代理问题

部分网站对 ip 进行了限制，导致我们无法爬到想要的数据，这个时候可以用代理来做。
使用 requests 这个第三方库，可以轻松地设置代理。
再举个栗子：

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}
requests.get("http://example.org", proxies=proxies)

发送 http 请求

虽然自带的 urllib 和 urllib2 库可以满足需求，但是不推荐使用。为什么？因为它们的操作太繁琐，尤其在处理一些复杂情况时，这不符合 python 的设计哲学，所以放手抛弃它们吧。
推荐使用 requests这个第三方库，正如它标榜的那样--Requests: HTTP for Humans，同时也支持 py3。
使用 requests 库发送请求是如此的优雅，

import requests
r = requests.get("https://api.github.com/events")
print r.text

具体使用方法可以看官方 API。

解析页面

既然获取到了请求页面的源码，那么接下来要做的就是解析工作，一般来说，有下面三个库用得是最多的：lxml库， bs4库，以及正则。
lxml 解析速度要比 bs4 快，据说快好几倍，正则是个终结技，只是写起来有点麻烦。另外， bs4 不支持 xpath，而lxml 支持，总之，视自己的情况选择了。
前几天还接触过一个库，名字叫 pyquery，它是 jQuery 的 python 实现，可以用于解析 html 网页内容，熟悉 jQuery 语法童鞋的福音。

另:bs4 库解析遇到的一个问题

前几天遇到一个问题，问题是这样的，html 页面的数据经过Beautiful Soup库的解析后，部分html源码丢失，找不到想要的数据了，问题代码如下：

#! /usr/bin/env python
# -*- coding:utf-8 -*-

import requests
from bs4 import BeautifulSoup

url = "http://product.pconline.com.cn/mobile/"
res = requests.get(url)
html = res.text
# print html
soup = BeautifulSoup(html, "lxml")
site = soup.findAll("img", class_="pic")
print site

输出结果为空，没有想要的数据。查看官方文档，bs 库支持的解析库有 lxml, html5lib 和 html.parser。用的最多的是 lxml，因为它的解析速度快，并且容错能力强，默认也是使用该解析器。
出现解析后源码丢失的可能原因有 2 个：

BeautifulSoup 有时候会遇到非法的，不支持的 html 源码而导致无法解析或无法正常解析 html；

处理的文档太大，而处理的解析器缓存不够造成的信息丢失。

这里换一个解析器，换成 html.parser 就可以了。

编码问题

将编码设置为 utf-8

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

总之，py2 中的编码问题很烦人，只要解码与编码不一致就会出现乱码。对 unicode 可以编码，其他编码 decode 成 unicode。
要注意"hello" 和 u"hello" 的区别。

多线程爬取 验证码处理 模拟登录

云服务器 GPU云服务器 MySQL授权问题总结年终总结网络总结方法总结

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/41740.html

2016年，我对爬虫的总结

摘要：都说年末了，该给自己写写总结了。我现在做一些简单的爬虫都会用它。并且对数据的实时性要求较高，或者爬数据的时候封的太厉害了。对于这一类的爬虫。消息队列用于分发消息给某个爬虫节点。爬虫节点完成具体的爬虫，格式化爬虫数据。最后，感谢我的，谢谢都说年末了，该给自己写写总结了。今天我想谈一谈的是我在公司这一年多里的负责的部分工作---爬虫。做了这么久的爬虫，是该写点什么，留下点什么。在我所负责...

netmou 2019-07-25 11:21 评论0 收藏0
scrapy爬虫使用总结——技巧和天坑

摘要：简介爬虫这个东西我就不多做介绍了，总之是一个很好用的爬虫库，且关于也有较多的教程。这篇文章记录一下我个人的项目规划和天坑心得。然后执行就会自动去爬数据了。常用配置这里要结合一些原因来进行说明。简介 scrapy爬虫这个东西我就不多做介绍了，总之是一个很好用的Python爬虫库，且关于scrapy也有较多的教程。这篇文章记录一下我个人的项目规划和天坑心得。通常来说，我们执行了scra...

vvpvvp 2019-07-30 16:50 评论0 收藏0
Python各热门方向常用学习、工作网址大全【7000字大总结】

摘要：做这一领域的工作，有很多网站能够起到辅助性的作用。再加上爬虫相对于其他热门方向来说，更容易学。也促使更多人会优先选择学习爬虫。能够代替手工完成手工无法完成的测试任务，并且可以记录相关数据及报告。 ...

linkFly 2021-09-26 09:55 评论0 收藏0
nodeJS实现基于Promise爬虫定时发送信息到指定邮件

摘要：也就是说，我的篇文章的请求对应个实例，这些实例都请求完毕后，执行以下逻辑他的目的在于对每一个返回值这个返回值为单篇文章的内容，进行方法处理。英国人Robert Pitt曾在Github上公布了他的爬虫脚本，导致任何人都可以容易地取得Google Plus的大量公开用户的ID信息。至今大概有2亿2千5百万用户ID遭曝光。亮点在于，这是个nodejs脚本，非常短，包括注释只有71行。 ...

xuweijian 2019-08-20 15:27 评论0 收藏0
首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
一只node爬虫的升级打怪之路

摘要：我是一个知乎轻微重度用户，之前写了一只爬虫帮我爬取并分析它的数据，我感觉这个过程还是挺有意思，因为这是一个不断给自己创造问题又去解决问题的过程。所以这只爬虫还有登陆知乎搜索题目的功能。我一直觉得，爬虫是许多web开发人员难以回避的点。我们也应该或多或少的去接触这方面，因为可以从爬虫中学习到web开发中应当掌握的一些基本知识。而且，它还很有趣。我是一个知乎轻微重度用户，之前写了一只爬...

shiweifu 2019-08-21 17:37 评论0 收藏0