13、web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻，爬取Ajax动态生成的信息

Blackjun 发布于2019-07-31 11:24 / 2409人阅读

摘要：百度云搜索，搜各种资料搜网盘，搜各种资料爬取百度新闻，爬取动态生成的信息，抓取百度新闻首页的新闻地址有多网站，当你浏览器访问时看到的信息，在源文件里却找不到，由得信息还是滚动条滚动到对应的位置后才显示信息，那么这种一般都是的动态请求生成的信

【百度云搜索，搜各种资料:http://www.bdyss.cn】

【搜网盘，搜各种资料:http://www.swpan.cn】

crapy爬取百度新闻，爬取Ajax动态生成的信息，抓取百度新闻首页的新闻rul地址

有多网站，当你浏览器访问时看到的信息，在html源文件里却找不到，由得信息还是滚动条滚动到对应的位置后才显示信息，那么这种一般都是 js 的 Ajax 动态请求生成的信息

我们以百度新闻为列：

1、分析网站

首先我们浏览器打开百度新闻，在网页中间部分找一条新闻信息

然后查看源码，看看在源码里是否有这条新闻，可以看到源文件里没有这条信息，这种情况爬虫是无法爬取到信息的

那么我们就需要抓包分析了，启动抓包软件和抓包浏览器，前后有说过软件了，就不在说了，此时我们经过抓包看到这条信息是通过Ajax动态生成的JSON数据，也就是说，当html页面加载完成后才生成的，所有我们在源文件里无法找到，当然爬虫也找不到

我们首先将这个JSON数据网址拿出来，到浏览器看看，我们需要的数据是不是全部在里面，此时我们看到这次请求里只有 17条信息，显然我们需要的信息不是完全在里面，还得继续看看其他js包

我们将抓包浏览器滚动条拉到底，以便触发所有js请求，然后在继续找js包，我们将所有js包都找完了再也没看到新闻信息的包了

那信息就不在js包里了，我们回头在看看其他类型的请求，此时我们看到很多get请求响应的是我们需要的新闻信息，说明只有第一次那个Ajax请求返回的JSON数据，后面的Ajax请求返回的都是html类型的字符串数据，

我们将Ajax请求返回的JSON数据的网址和Ajax请求返回html类型的字符串数据网址，拿来做一下比较看看是否能找到一定规律，

此时我们可以看到，JSON数据的网址和html类型的字符串数据网址是一个请求地址，

只是请求时传递的参数不一样而已，那么说明无论返回的什么类型的数据，都是在一个请求地址处理的，只是根据不同的传参返回不同类型的数据而已

http://news.baidu.com/widget?id=LocalNews&ajax=json&t=1501348444467   JSON数据的网址

http://news.baidu.com/widget?id=civilnews&t=1501348728134        html类型的字符串数据网址

http://news.baidu.com/widget?id=InternationalNews&t=1501348728196    html类型的字符串数据网址

我们可以将html类型的字符串数据网址加上JSON数据的网址参数，那是否会返回JSON数据类型？试一试，果然成功了

http://news.baidu.com/widget?id=civilnews&ajax=json        将html类型的字符串数据网址加上JSON数据的网址参数

http://news.baidu.com/widget?id=InternationalNews&ajax=json    将html类型的字符串数据网址加上JSON数据的网址参数

这下就好办了，找到所有的html类型的字符串数据网址，按照上面的方法将其转换成JSON数据的网址，然后循环的去访问转换后的JSON数据的网址，就可以拿到所有新闻的url地址了

crapy实现

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request,FormRequest
import re
import json
from adc.items import AdcItem
from scrapy.selector import Selector

class PachSpider(scrapy.Spider):                            #定义爬虫类，必须继承scrapy.Spider
    name = "pach"                                           #设置爬虫名称
    allowed_domains = ["news.baidu.com"]                    #爬取域名
    start_urls = ["http://news.baidu.com/widget?id=civilnews&ajax=json"]

    qishiurl = [                    #的到所有页面id
        "InternationalNews",
        "FinanceNews",
        "EnterNews",
        "SportNews",
        "AutoNews",
        "HouseNews",
        "InternetNews",
        "InternetPlusNews",
        "TechNews",
        "EduNews",
        "GameNews",
        "DiscoveryNews",
        "HealthNews",
        "LadyNews",
        "SocialNews",
        "MilitaryNews",
        "PicWall"
    ]

    urllieb = []
    for i in range(0,len(qishiurl)):            #构造出所有idURL
        kaishi_url = "http://news.baidu.com/widget?id=" + qishiurl[i] + "&ajax=json"
        urllieb.append(kaishi_url)
    # print(urllieb)

    def parse(self, response):                  #选项所有连接
        for j in range(0, len(self.urllieb)):
            a = "正在处理第%s个栏目:url地址是：%s" % (j, self.urllieb[j])
            yield scrapy.Request(url=self.urllieb[j], callback=self.enxt)     #每次循环到的url 添加爬虫

    def enxt(self, response):
        neir = response.body.decode("utf-8")
        pat2 = ""m_url":"(.*?)""
        url = re.compile(pat2, re.S).findall(neir)      #通过正则获取爬取页面 的URL
        for k in range(0,len(url)):
            zf_url = url[k]
            url_zf = re.sub("/", "/", zf_url)
            pduan = url_zf.find("http://")
            if pduan == 0:
                print(url_zf)                       #输出获取到的所有url

【转载自：http://www.lqkweb.com】

云服务器 GPU云服务器爬虫框架scrapy scrapy框架编写爬虫 python爬虫框架scrapy scrapy爬取实例

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/45075.html

首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
scrapy-redis分布式爬虫框架详解

摘要：分布式爬虫框架详解随着互联网技术的发展与应用的普及，网络作为信息的载体，已经成为社会大众参与社会生活的一种重要信息渠道。下载器中间件位于引擎和下载器之间的框架，主要是处理引擎与下载器之间的请求及响应。 scrapy-redis分布式爬虫框架详解随着互联网技术的发展与应用的普及，网络作为信息的载体，已经成为社会大众参与社会生活的一种重要信息渠道。由于互联网是开放的，每个人都可以在网络上...

myeveryheart 2019-07-30 16:09 评论0 收藏0
11、web爬虫讲解2—Scrapy框架爬虫—Scrapy使用

摘要：百度云搜索，搜各种资料搜网盘，搜各种资料表达式表示向下查找层指定标签，如表示查找所有标签表示向下查找一层指定的标签表示查找指定属性的值可以连缀如属性名称属性值表示查找指定属性等于指定值的标签可以连缀，如查找名称等于指定名称的标签获取标签文本【百度云搜索，搜各种资料:http://www.lqkweb.com】【搜网盘，搜各种资料:http://www.swpan.cn】 xpath...

trilever 2019-07-31 11:23 评论0 收藏0
10、web爬虫讲解2—Scrapy框架爬虫—Scrapy安装—Scrapy指令

摘要：负责处理被提取出来的。典型的处理有清理验证及持久化例如存取到数据库知识库项目的设置文件实现自定义爬虫的目录中间件是在引擎及之间的特定钩子，处理的输入和输出及。【百度云搜索:http://www.bdyss.com】【搜网盘:http://www.swpan.cn】 Scrapy框架安装 1、首先，终端执行命令升级pip: python -m pip install --upgrad...

OnlyMyRailgun 2019-07-31 10:37 评论0 收藏0