摘要:使用的方式来做采集,拥有丰富的插件。下面来演示使用搜索引擎插件轻松实现站内搜索。
QueryList使用jQuery的方式来做采集,拥有丰富的插件。
下面来演示QueryList使用Baidu搜索引擎插件轻松实现站内搜索。
安装使用Composer安装:
安装QueryList
composer require jaeger/querylist
GitHub: https://github.com/jae-jae/Qu...
安装Baidu搜索引擎插件
composer require jaeger/querylist-rule-baidu
插件APIGitHub: https://github.com/jae-jae/Qu...
Baidu baidu($pageNumber = 10):获取百度搜索引擎
class Baidu:
Baidu search($keyword):设置搜索关键词
Baidu setHttpOpt(array $httpOpt = []):设置HTTP选项,查看: GuzzleHttp options
int getCount():获取搜索结果总条数
int getCountPage():获取搜索结果总页数
Collection page($page = 1,$realURL = false):获取搜索结果
使用实现一个百度网盘资源搜索引擎:
baidu()->search("site:pan.baidu.com 百度"); // 获取第一页数据,并获取真实URL连接地址 $data = $searcher->page(1,true); print_r($data->all());
抓取结果:
Array ( [0] => Array ( [title] => 百度网盘_享你所想 [link] => http://pan.baidu.com/ ) [1] => Array ( [title] => 百度网盘 客户端下载 [link] => https://pan.baidu.com/download ) [2] => Array ( [title] => 百度网盘-开放平台 [link] => https://pan.baidu.com/platform/read ) // .... )
更多用法
$baidu = $ql->baidu(15); // 设置每页搜索15条结果 $searcher = $baidu->search("QueryList"); $count = $searcher->getCount(); // 获取搜索结果总条数 $data = $searcher->page(1); $data = $searcher->page(2); $searcher = $baidu->search("php"); $countPage = $searcher->getCountPage(); // 获取搜索结果总页数 for ($page = 1; $page <= $countPage; $page++) { $data = $searcher->page($page); } $data = $searcher->setHttpOpt([ // 设置http代理 "proxy" => "http://222.141.11.17:8118", // Set the timeout time in seconds "timeout" => 30, ])->page(1);Google搜索引擎插件
当然除了Baidu搜索引擎插件,QueryList也有Google搜索引擎插件,也可以实现同样的功能。
文档: https://doc.querylist.cc/site...
GitHub: https://github.com/jae-jae/Qu...
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/25942.html
QueryList 简介 QueryList是一套简洁、优雅、可扩展的PHP采集工具(爬虫),基于phpQuery。 特性 拥有与jQuery完全相同的CSS3 DOM选择器 拥有与jQuery完全相同的DOM操作API 拥有通用的列表采集方案 拥有强大的HTTP请求套件,轻松实现如:模拟登陆、伪造浏览器、HTTP代理等意复杂的网络请求 拥有乱码解决方案 拥有强大的内容过滤功能,可使用jQue...
摘要:使用的方式来做采集,拥有丰富的插件。下面来演示使用插件抓取动态创建的页面内容。插件使用浏览器打开连接使用以采集今日头条手机版为例,今日头条手机版基于框架,内容是纯动态渲染出来的。 QueryList使用jQuery的方式来做采集,拥有丰富的插件。 下面来演示QueryList使用PhantomJS插件抓取JS动态创建的页面内容。 安装 使用Composer安装: 安装QueryList...
摘要:查找保存下载用搭建自己的缓存仓库权限管理的好选择基于封装的后台管理系统,支持手机和端访问支付宝风格的验证器后台系统微信接口的部署脚本开发的博客系统百度推送自动记录用户行为扩展一个项目管理系统根据生成对应导航的状态 1.debug https://github.com/barryvdh/l... showImg(https://segmentfault.com/img/bVmhWL); ...
摘要:分享一些超好用插件,打造一个不一样的浏览器编辑器。一谷歌浏览器插件谷歌访问助手强烈推荐一键安装,无需其他配置,即可访问谷歌。谷歌浏览器是很耗内存的,该插件会自动挂起长时间未使用的网页,来释放系统资源。 showImg(https://segmentfault.com/img/remote/1460000014011338); 分享一些超好用插件,打造一个不一样的 GitHub、浏览器、...
阅读 2121·2021-11-22 15:24
阅读 2410·2021-09-09 11:53
阅读 3037·2021-09-04 16:40
阅读 1636·2019-08-30 15:52
阅读 3354·2019-08-29 13:47
阅读 2735·2019-08-26 17:40
阅读 1540·2019-08-26 13:24
阅读 2244·2019-08-26 12:01