Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容

ymyang 发布于2019-07-25 10:26 / 1933人阅读

摘要：，集搜客开源代码下载源开源网络爬虫源，文档修改历史，增补文字说明，增加第五章源代码下载源，并更换源的网址

1，引言

在Python网络爬虫内容提取器一文我们详细讲解了核心部件：可插拔的内容提取器类gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第二部分，第一部分实验了用xslt方式一次性提取静态网页内容并转换成xml格式。留下了一个问题：javascript管理的动态内容怎样提取？那么本文就回答这个问题。

2，提取动态内容的技术部件

在上一篇python使用xslt提取网页数据中，要提取的内容是直接从网页的source code里拿到的。但是一些Ajax动态内容是在source code找不到的，就要找合适的程序库把异步或动态加载的内容加载上来，交给本项目的提取器进行提取。

python可以使用selenium执行javascript，selenium可以让浏览器自动加载页面，获取需要的数据。selenium自己不带浏览器，可以使用第三方浏览器如Firefox，Chrome等，也可以使用headless浏览器如PhantomJS在后台执行。

3，源代码和实验过程

假如我们要抓取京东手机页面的手机名称和价格(价格在网页源码是找不到的)，如下图：

第一步：利用集搜客谋数台的直观标注功能，可以极快速度自动生成一个调试好的抓取规则，其实是一个标准的xslt程序，如下图，把生成的xslt程序拷贝到下面的程序中即可。注意：本文只是记录实验过程，实际系统中，将采用多种方式把xslt程序注入到内容提取器重。

第二步：执行如下代码(在windows10， python3.2下测试通过)，请注意：xslt是一个比较长的字符串，如果删除这个字符串，代码没有几行，足以见得Python之强大

#/usr/bin/python
from urllib import request
from lxml import etree
from selenium import webdriver
import time

# 京东手机商品页面
url = "http://item.jd.com/1312640.html"

# 下面的xslt是通过集搜客的谋数台图形界面自动生成的
xslt_root = etree.XML("""


<商品>
0 and count(.//*[@id="name"]/h1/text())>0]" mode="商品"/>



0 and count(.//*[@id="name"]/h1/text())>0]" mode="商品">

<价格>






<名称>








""")

# 使用webdriver.PhantomJS
browser = webdriver.PhantomJS(executable_path="C:phantomjs-2.1.1-windowsinphantomjs.exe")
browser.get(url)
time.sleep(3)

transform = etree.XSLT(xslt_root)

# 执行js得到整个dom
html = browser.execute_script("return document.documentElement.outerHTML")
doc = etree.HTML(html)
# 用xslt从dom中提取需要的字段
result_tree = transform(doc)
print(result_tree)

第三步：下图可以看到，网页中的手机名称和价格被正确抓取下来了

4，接下来阅读

至此，我们通过两篇文章演示怎样抓取静态和动态网页内容，都采用了xslt一次性将需要的内容从网页上提取出来，其实xslt是一个比较复杂的程序语言，如果手工编写xslt，那么还不如写成离散的xpath。如果这个xslt不是手工写出来的，而是程序自动生成的，这就有意义了，程序员再也不要花时间编写和调测抓取规则了，这是很费时费力的工作。接下来《1分钟快速生成用于网页内容提取的xslt》将讲述怎样生成xslt。

5，集搜客GooSeeker开源代码下载源

1.GooSeeker开源Python网络爬虫GitHub源

5，文档修改历史

2016-05-26：V2.0，增补文字说明
2016-05-29：V2.1，增加第五章：源代码下载源，并更换github源的网址

云服务器 GPU云服务器 python抓取爬虫 python爬虫抓取数据 python爬虫抓取图片 python爬虫抓取文字

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/37960.html

Python爬虫实战（2）：爬取京东商品列表

摘要：，源代码爬取京东商品列表，以手机商品列表为例示例网址版本京东手机列表源代码下载位置请看文章末尾的源。，抓取结果运行上面的代码，就会爬取京东手机品类页面的所有手机型号价格等信息，并保存到本地文件京东手机列表中。 showImg(https://segmentfault.com/img/bVxXHW); 1，引言在上一篇《python爬虫实战：爬取Drupal论坛帖子列表》，爬取了一个用...

shevy 2019-07-31 12:21 评论0 收藏0
爬虫问题总结

摘要：编码我们发现，中有时候存在中文，这是就需要对进行编码。可以先将中文转换成编码，然后使用方法对参数进行编码后传递。本文档对日常学习中用 python 做数据爬取时所遇到的一些问题做简要记录，以便日后查阅，部分问题可能因为认识不到位会存在一些误解，敬请告知，万分感谢，共同进步。估算网站规模该小节主要针对于整站爬取的情况。爬取整站之前，肯定是要先对一个网站的规模进行估计。这是可以使用g...

nanfeiyan 2019-07-30 16:34 评论0 收藏0
Python爬虫实战（4）：豆瓣小组话题数据采集—动态网页

摘要：，引言注释上一篇爬虫实战安居客房产经纪人信息采集，访问的网页是静态网页，有朋友模仿那个实战来采集动态加载豆瓣小组的网页，结果不成功。 showImg(https://segmentfault.com/img/bVzdNZ); 1，引言注释：上一篇《Python爬虫实战（3）：安居客房产经纪人信息采集》，访问的网页是静态网页，有朋友模仿那个实战来采集动态加载豆瓣小组的网页，结果不成功...

blastz 2019-07-25 10:36 评论0 收藏0
Python_selenium_phantomjs动态抓取

摘要：当前版本是一个服务器端的的。也可以说是无界面浏览器。安装不是程序，去官网下载对应系统版本的安装即可。方法会一直等到页面被完全加载，然后才会继续程序，但是对于是无可奈何的。安装设置的查看所有可用的属性。 selenium:https://github.com/SeleniumHQ...当前版本3.0.1A browser automation framework and ecosyste...

zacklee 2019-07-31 10:51 评论0 收藏0
Python3网络爬虫实战---37、动态渲染页面抓取:Selenium

摘要：不过动态渲染的页面不止这一种。再有淘宝这种页面，它即使是获取的数据，但是其接口含有很多加密参数，我们难以直接找出其规律，也很难直接分析来抓取。我们用一个实例来感受一下在这里们依然是先打开知乎页面，然后获取提问按钮这个节点，再将其上一篇文章：Python3网络爬虫实战---36、分析Ajax爬取今日头条街拍美图下一篇文章：Python3网络爬虫实战---38、动态渲染页面抓取:Spla...

zhjx922 2019-07-31 10:36 评论0 收藏0