Goutte基本用法

supernavy 发布于2019-06-27 15:58 / 709人阅读

摘要：基本用法最近工作上用到爬虫框架号称是上最好用的爬虫框架。这里记下自己用到过的使用技巧，免得下次使用的时候再摸索。

Goutte基本用法

最近工作上用到PHP爬虫框架Goutte(号称是PHP上最好用的爬虫框架)。这里记下自己用到过的使用技巧，免得下次使用的时候再摸索。

table相关

html: 
      
   国内高匿代理IP
      更多

  
    国家
    代理IP地址
    端口
    服务器地址
    是否匿名
    类型
          存活时间
    验证时间
  
  
  
    
    175.155.24.112
    808
    四川德阳
    高匿
    HTTP
      3小时
    1分钟前
  
 
 
php: 
1.解析出td的内容
$crawler->filter("table#ip_list > tr")->each(function (Crawler $node, $i) {
            $ip = $node->filter("td")->each(function(Crawler $node_ip, $node_ip_num){
            $text = trim($node_ip->text());
            if (empty($text) && $node_ip_num > 0 && !empty(trim($node_ip->html()))) {
                $text = $node_ip->filter("div")->attr("title");
            }
            return $text;
            });
            return $ip;
        });
    }

2.按位置匹配td标签
$td = $crawler->filter(‘td’)->eq(1)->text();

国内高匿代理IP 更多
国家	代理IP地址	端口	服务器地址	是否匿名	类型	存活时间	验证时间
	175.155.24.112	808	四川德阳	高匿	HTTP	3小时	1分钟前

匹配两个class

html : 
php  : $crawler->filter(‘div.class1.class1’);

匹配id

html : 
php  : $crawler->filter(‘div#hello’);

图片

html : 
php  : $crawler->filter(‘img’)->attr(‘src’);

内嵌html

这个我常用来检测匹配规则是否正确

html : Helloworld
php  : $crawler->filter(‘catchMeIfYouCan’)->html();

部分原创，部分参考了这篇博客

云服务器 GPU云服务器基本用法 JSTL基本用法 Goutte 嵌套用法

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/22662.html

Goutte基本用法

摘要：基本用法最近工作上用到爬虫框架号称是上最好用的爬虫框架。这里记下自己用到过的使用技巧，免得下次使用的时候再摸索。 Goutte基本用法最近工作上用到PHP爬虫框架Goutte(号称是PHP上最好用的爬虫框架)。这里记下自己用到过的使用技巧，免得下次使用的时候再摸索。 table相关 html: 国内高匿代理IP 更多国家代...

?xiaoxiao, 2019-08-01 16:36 评论0 收藏0
PHP 开发者应了解的 24 个库

摘要：下面是一个例子这个库要求你至少安装了和其中的一个，这可能意味着，在大多数主机提供商提供的主机上它可能用不了。借助它，你可以忘记如何书写乏味的有一个姊妹库叫，是一个基于的实现。 showImg(http://segmentfault.com/img/bVbJml); 作为一个PHP开发者，现在是一个令人激动的时刻。每天有许许多多有用的库分发出来，在 Github 上很容易发现和使用这些库...

0x584a 2019-06-27 10:31 评论0 收藏0
SVG基础教程(超级详细)

摘要：光滑三次贝塞尔曲线指令跟在指令或指令后面补刀，它会自动在基础上生成一个对称点，所以指令只需要两个点就可以。二次贝塞尔曲线是控制点，表示的是曲线的终点。一、内置图形: rect(矩形) circle(圆) ellipse(椭圆) line(直线) polyline(折线) polygon(多边形) path(路径) 二、内置图形的html属性或(css样...

张宪坤 2019-08-21 17:42 评论0 收藏0
深入理解 Laravel Eloquent（一）——基本概念及用法

摘要：原文发表在我的个人网站深入理解一基本概念及用法在本系列文章中，我将跟大家一起学习的基本用法，探索的各种高级功能，理解背后的运行原理，并最终达到深入理解灵活使用的目的。下一步深入理解二中间操作流原文发表在我的个人网站：深入理解 Laravel Eloquent（一）——基本概念及用法在本系列文章中，我将跟大家一起学习 Eloquent 的基本用法，探索 Eloquent 的各种...

Edison 2019-07-01 14:14 评论0 收藏0