摘要:爬虫之请求爬取豆瓣网的分页浏览请求请输入想要第几页的数据构建参数将字典转化为修改肯德基配送信息请求请输入要查询的城市请输入要查询第几页请输入要多少个
爬取豆瓣网的分页浏览get请求:
import urllib.request import urllib.parse url = "https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&" page = int(input("请输入想要第几页的数据:")) # start=0 limit=20 # start=1 number = 20 # 构建get参数 data = { "start": (page - 1)*number, "limit": number, } # 将字典转化为query_string query_string = urllib.parse.urlencode(data) # 修改url url += query_string # headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36", } request = urllib.request.Request(url=url, headers=headers) response = urllib.request.urlopen(request) print(response.read().decode())
肯德基配送信息post请求
import urllib.request import urllib.parse post_url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname" city = input("请输入要查询的城市:") page = input("请输入要查询第几页:") size = input("请输入要多少个:") formdata = { "cname": city, "pid": "", "pageIndex": page, "pageSize": size, } headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36", } request = urllib.request.Request(url=post_url, headers=headers) formdata = urllib.parse.urlencode(formdata).encode() response = urllib.request.urlopen(request, data=formdata) print(response.read().decode())
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/42163.html
摘要:学习网络爬虫主要分个大的版块抓取,分析,存储另外,比较常用的爬虫框架,这里最后也详细介绍一下。网络爬虫要做的,简单来说,就是实现浏览器的功能。 Python学习网络爬虫主要分3个大的版块:抓取,分析,存储 另外,比较常用的爬虫框架Scrapy,这里最后也详细介绍一下。 首先列举一下本人总结的相关文章,这些覆盖了入门网络爬虫需要的基本概念和技巧:宁哥的小站-网络爬虫,当我们在浏览器中输入...
摘要:上一篇文章网络爬虫实战数据爬取下一篇文章网络爬虫实战动态渲染页面抓取本节我们以今日头条为例来尝试通过分析请求来抓取网页数据的方法,我们这次要抓取的目标是今日头条的街拍美图,抓取完成之后将每组图片分文件夹下载到本地保存下来。 上一篇文章:Python3网络爬虫实战---35、 Ajax数据爬取下一篇文章:Python3网络爬虫实战---37、动态渲染页面抓取:Selenium 本节我们...
阅读 2459·2021-09-26 10:18
阅读 3316·2021-09-22 10:02
阅读 3043·2019-08-30 15:44
阅读 3282·2019-08-30 15:44
阅读 1770·2019-08-29 15:25
阅读 2529·2019-08-26 14:04
阅读 1994·2019-08-26 12:15
阅读 2403·2019-08-26 11:43