php使用QueryList轻松采集JavaScript动态渲染页面

Jason 发布于2019-06-28 13:54 / 2895人阅读

摘要：使用的方式来做采集，拥有丰富的插件。下面来演示使用插件抓取动态创建的页面内容。插件使用浏览器打开连接使用以采集今日头条手机版为例，今日头条手机版基于框架，内容是纯动态渲染出来的。

QueryList使用jQuery的方式来做采集，拥有丰富的插件。

下面来演示QueryList使用PhantomJS插件抓取JS动态创建的页面内容。

安装

使用Composer安装：

安装QueryList

composer require jaeger/querylist

GitHub: https://github.com/jae-jae/QueryList

安装PhantomJS插件

composer require jaeger/querylist-phantomjs

GitHub: https://github.com/jae-jae/QueryList-PhantomJS

下载PhantomJS二进制文件

PhantomJS官网:http://phantomjs.org ，下载对应平台的PhantomJS二进制文件。

插件API

QueryList browser($url,$debug = false,$commandOpt = []):使用浏览器打开连接

使用

以采集「今日头条」手机版为例，「今日头条」手机版基于React框架，内容是纯动态渲染出来的。

下面演示QueryList的PhantomJs插件用法:

安装插件

use QLQueryList;
use QLExtPhantomJs;

$ql = QueryList::getInstance();
// 安装时需要设置PhantomJS二进制文件路径
$ql->use(PhantomJs::class,"/usr/local/bin/phantomjs");
//or Custom function name
$ql->use(PhantomJs::class,"/usr/local/bin/phantomjs","browser");

Example-1

获取动态渲染的HTML:

$html = $ql->browser("https://m.toutiao.com")->getHtml();
print_r($html);

获取所有p标签文本内容:

$data = $ql->browser("https://m.toutiao.com")->find("p")->texts();
print_r($data->all());

输出:

Array
(
    [0] => 自拍模式开启！国庆假期我和国旗合个影
    [1] => 你旅途已开始 他们仍在自己的岗位上为你的假期保驾护航
    [2] => 喜极而泣，都教授终于回到地球了！
    //....
)

使用http代理:

// 更多选项可以查看文档: http://phantomjs.org/api/command-line.html
$ql->browser("https://m.toutiao.com",true,[
    // 使用http代理
    "--proxy" => "192.168.1.42:8080",
    "--proxy-type" => "http"
])

Example-2

自定义一个复杂的请求：

$data = $ql->browser(function (JonnyWPhantomJsHttpRequestInterface $r){
    $r->setMethod("GET");
    $r->setUrl("https://m.toutiao.com");
    $r->setTimeout(10000); // 10 seconds
    $r->setDelay(3); // 3 seconds
    return $r;
})->find("p")->texts();

print_r($data->all());

开启debug模式，并从本地加载cookie文件：

$data = $ql->browser(function (JonnyWPhantomJsHttpRequestInterface $r){
    $r->setMethod("GET");
    $r->setUrl("https://m.toutiao.com");
    $r->setTimeout(10000); // 10 seconds
    $r->setDelay(3); // 3 seconds
    return $r;
},true,[
    "--cookies-file" => "/path/to/cookies.txt"
])->rules([
    "title" => ["p","text"],
    "link" => ["a","href"]
])->query()->getData();

print_r($data->all());

GPU云服务器云服务器动态登录页面php php中使用javascript 页面渲染测速 php轻松入门

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/25946.html

QueryList 4.0 简洁、优雅、可扩展的PHP采集工具(爬虫)

QueryList 简介 QueryList是一套简洁、优雅、可扩展的PHP采集工具(爬虫)，基于phpQuery。特性拥有与jQuery完全相同的CSS3 DOM选择器拥有与jQuery完全相同的DOM操作API 拥有通用的列表采集方案拥有强大的HTTP请求套件，轻松实现如：模拟登陆、伪造浏览器、HTTP代理等意复杂的网络请求拥有乱码解决方案拥有强大的内容过滤功能，可使用jQue...

Astrian 2019-06-28 13:54 评论0 收藏0
PHP使用QueryList轻松实现一个百度网盘资源搜索引擎

摘要：使用的方式来做采集，拥有丰富的插件。下面来演示使用搜索引擎插件轻松实现站内搜索。 QueryList使用jQuery的方式来做采集，拥有丰富的插件。下面来演示QueryList使用Baidu搜索引擎插件轻松实现站内搜索。安装使用Composer安装：安装QueryList composer require jaeger/querylist GitHub: https://git...

dantezhao 2019-06-28 13:54 评论0 收藏0
那些 PHP 开发者可能用得上的工具

PHP 函数的 JavaScript 实现 module.exports = function array_sum (array) { // eslint-disable-line camelcase // discuss at: http://locutus.io/php/array_sum/ // original by: Kevin van Zonneveld (http://kv...

JowayYoung 2019-06-27 17:04 评论0 收藏0
PHP使用QueryList采集微信文章页

摘要：采集目标微信文章页标题内容发布时间作者等信息。安装微信采集代码采集规则可以很轻松的就写出采集代码出来，来看看运行结果和预期一样正确采集到了内容，但是内容乱码了。采集目标微信文章页标题、内容、发布时间、作者等信息。采集示例URL https://mp.weixin.qq.com/s?src=11×tamp=1523173327&ver=803&signature=6PCx...

AdolphLWQ 2019-06-28 18:42 评论0 收藏0
laravel package收集

摘要：查找保存下载用搭建自己的缓存仓库权限管理的好选择基于封装的后台管理系统，支持手机和端访问支付宝风格的验证器后台系统微信接口的部署脚本开发的博客系统百度推送自动记录用户行为扩展一个项目管理系统根据生成对应导航的状态 1.debug https://github.com/barryvdh/l... showImg(https://segmentfault.com/img/bVmhWL); ...

psychola 2019-06-27 11:14 评论0 收藏0