摘要:今日头条的数据都是加载显示的,按照正常的是抓取不到数据的,需要分析出加载出址,我们以为例来采集列表的文章用谷歌浏览器打开链接,右键点击审查在控制台切换至并点击,这样就可以过滤图片文件等等不必要的请求只看页面内容的请求由于页面是加载的,所以将
今日头条的数据都是ajax加载显示的,按照正常的url是抓取不到数据的,需要分析出加载出址,我们以 https://www.toutiao.com/searc... 为例来采集列表的文章
用谷歌浏览器打开链接,右键点击“审查”在控制台切换至network并点击XHR,这样就可以过滤图片、文件等等不必要的请求只看页面内容的请求
由于页面是ajax加载的,所以将页面拉至最底部,会自动加载出更多文章,这时候控制台抓取到的链接就是我们真正需要的列表页链接:
https://www.toutiao.com/searc...
在蓝天采集器中创建一个任务
创建完毕点击“采集器设置”,在“起始页网址”中填入上面抓取到的链接
接下来匹配内容页网址,头条的文章网址格式是https://www.toutiao.com/group...
点击“内容页网址”编写“匹配内容网址”规则:
(?
这是个正则规则,意思就是把匹配的网址装进捕获组content1中,然后在下面填写[内容1] 即对应上面的content1 就可获取到内容页链接
可以点击测试查看是否成功抓取到了链接
抓取成功就可以开始获取内容了
点击“获取内容”在字段列表右边可以添加默认的字段,如标题、正文等都可以智能识别,如需精准还可以自行编辑字段,支持正则、xpath、json等匹配内容
我们需要抓取文章的标题和正文,由于是ajax显示的所以要写规则匹配出内容,分析篇源码:https://www.toutiao.com/a6358... ,找到文章位置
标题规则:articleInfos:s{stitle:s"[内容1]",
正文规则:contents:s"[内容1]",s*groupId
规则必须保证唯一性,不然会匹配到其他内容上去,将规则添加到字段中,获取方式选规则匹配:
规则编写完后点击保存,点击“测试”看看效果如何
规则无误,抓取正常,抓取到的数据还可以发布到cms系统、直接数据库入库、保存为excel文件等,点击底部导航条的“发布设置”即可,好了今日头条的采集到这里就结束了,大家不妨动手试试!
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/30744.html
摘要:上一篇文章网络爬虫实战数据爬取下一篇文章网络爬虫实战动态渲染页面抓取本节我们以今日头条为例来尝试通过分析请求来抓取网页数据的方法,我们这次要抓取的目标是今日头条的街拍美图,抓取完成之后将每组图片分文件夹下载到本地保存下来。 上一篇文章:Python3网络爬虫实战---35、 Ajax数据爬取下一篇文章:Python3网络爬虫实战---37、动态渲染页面抓取:Selenium 本节我们...
摘要:使用的方式来做采集,拥有丰富的插件。下面来演示使用插件抓取动态创建的页面内容。插件使用浏览器打开连接使用以采集今日头条手机版为例,今日头条手机版基于框架,内容是纯动态渲染出来的。 QueryList使用jQuery的方式来做采集,拥有丰富的插件。 下面来演示QueryList使用PhantomJS插件抓取JS动态创建的页面内容。 安装 使用Composer安装: 安装QueryList...
摘要:采集网页内容是一项很常见的需求,比较传统的静态页面,就能搞定。代码中使用了一个方法,是为了让内容加载完成后再进行截图,简单粗暴,可能不是最好的解决办法。总结被应用于测试采集等场景,是一个非常有力的工具。 showImg(https://segmentfault.com/img/remote/1460000014522692?w=640&h=360); 采集网页内容是一项很常见的需求,比...
摘要:所以说,我们所看到的微博页面的真实数据并不是最原始的页面返回的,而是后来执行后再次向后台发送了请求,拿到数据后再进一步渲染出来的。结果提取仍然是拿微博为例,我们接下来用来模拟这些请求,把马云发过的微博爬取下来。 上一篇文章:Python3网络爬虫实战---34、数据存储:非关系型数据库存储:Redis下一篇文章:Python3网络爬虫实战---36、分析Ajax爬取今日头条街拍美图 ...
阅读 1793·2023-04-26 02:14
阅读 3718·2021-11-23 09:51
阅读 1380·2021-10-13 09:39
阅读 3962·2021-09-24 10:36
阅读 3008·2021-09-22 15:55
阅读 3510·2019-08-30 12:57
阅读 2035·2019-08-29 15:30
阅读 1979·2019-08-29 13:19