python爬虫之ajax请求

崔晓明发布于2019-07-30 17:20 / 3597人阅读

摘要：爬虫之请求爬取豆瓣网的分页浏览请求请输入想要第几页的数据构建参数将字典转化为修改肯德基配送信息请求请输入要查询的城市请输入要查询第几页请输入要多少个

python爬虫之ajax请求

爬取豆瓣网的分页浏览get请求：

import urllib.request
import urllib.parse

url = "https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&"

page = int(input("请输入想要第几页的数据:"))
# start=0  limit=20
# start=1
number = 20

# 构建get参数
data = {
    "start": (page - 1)*number,
    "limit": number,
}
# 将字典转化为query_string
query_string = urllib.parse.urlencode(data)
# 修改url
url += query_string

# 
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36",
}
request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request)

print(response.read().decode())

肯德基配送信息post请求

import urllib.request
import urllib.parse

post_url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname"

city = input("请输入要查询的城市:")
page = input("请输入要查询第几页:")
size = input("请输入要多少个:")
formdata = {
    "cname": city,
    "pid": "", 
    "pageIndex": page,
    "pageSize": size,
}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36",
}

request = urllib.request.Request(url=post_url, headers=headers)
formdata = urllib.parse.urlencode(formdata).encode()

response = urllib.request.urlopen(request, data=formdata)

print(response.read().decode())

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/42163.html

Python入门网络爬虫之精华版

摘要：学习网络爬虫主要分个大的版块抓取，分析，存储另外，比较常用的爬虫框架，这里最后也详细介绍一下。网络爬虫要做的，简单来说，就是实现浏览器的功能。 Python学习网络爬虫主要分3个大的版块：抓取，分析，存储另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。首先列举一下本人总结的相关文章，这些覆盖了入门网络爬虫需要的基本概念和技巧：宁哥的小站-网络爬虫,当我们在浏览器中输入...

Bmob 2019-07-25 11:34 评论0 收藏0
爬虫问题总结

摘要：编码我们发现，中有时候存在中文，这是就需要对进行编码。可以先将中文转换成编码，然后使用方法对参数进行编码后传递。本文档对日常学习中用 python 做数据爬取时所遇到的一些问题做简要记录，以便日后查阅，部分问题可能因为认识不到位会存在一些误解，敬请告知，万分感谢，共同进步。估算网站规模该小节主要针对于整站爬取的情况。爬取整站之前，肯定是要先对一个网站的规模进行估计。这是可以使用g...

nanfeiyan 2019-07-30 16:34 评论0 收藏0
爬虫初级操作（一）

摘要：一个对应相应的状态码，状态码表示协议所返回的响应的状态。下面将状态码归结如下继续客户端应当继续发送请求。继续处理由扩展的状态码，代表处理将被继续执行。处理方式丢弃该状态码不被的应用程序直接使用，只是作为类型回应的默认解释。本篇内容为 python 网络爬虫初级操作，内容主要有以下 3 部分： python 关于爬虫的一些基本操作和知识静态网页抓取动态网页抓取基本操作和知识...

Ocean 2019-07-30 16:57 评论0 收藏0
Python3网络爬虫实战---36、分析Ajax爬取今日头条街拍美图

摘要：上一篇文章网络爬虫实战数据爬取下一篇文章网络爬虫实战动态渲染页面抓取本节我们以今日头条为例来尝试通过分析请求来抓取网页数据的方法，我们这次要抓取的目标是今日头条的街拍美图，抓取完成之后将每组图片分文件夹下载到本地保存下来。上一篇文章：Python3网络爬虫实战---35、 Ajax数据爬取下一篇文章：Python3网络爬虫实战---37、动态渲染页面抓取:Selenium 本节我们...

Leck1e 2019-07-31 10:36 评论0 收藏0