Python：这是一个朴实无华的爬虫教程，就是有点养眼

Ethan815 发布于2021-11-22 09:34 / 2246人阅读

摘要：好难受，上次发了做游戏的居然没人看，每天为了给你们写啥，老夫心都操碎了真的是，今天来给大家爬一波短视频网站吧，都是些很养眼的网站地址在代码里面，大家用心一下就能看到了。

好难受，上次发了做游戏的居然没人看，每天为了给你们写啥，老夫心都操碎了~

真的是，今天来给大家爬一波短视频网站吧，都是些很养眼的~

网站地址在代码里面，大家用心一下就能看到了。

使用的软件

python 3.8pycharm 2021.2

模块

requestsparselreconcurrent.futurestimewarnings

不会安装模块看这篇：如何安装python模块, python模块安装失败的原因以及解决办法

知道你们不想看那些步骤，我直接上代码吧

import requestsimport parselimport reimport concurrent.futuresimport timeimport warnings# 取消警告warnings.filterwarnings("ignore")def get_html(url):    """发送请求获取网页源代码"""    html_data = requests.get(url=url, verify=False).text    return html_datadef parse_data_1(html_data):    """第一次解析, 拿到所有的详情页链接"""    selector = parsel.Selector(html_data)    url_list = selector.xpath("//a[@class="meta-title"]/@href").getall()    return url_listdef parse_data_2(html_data):    """第二次解析, 获取视频链接"""    video_url = re.findall("url: "(.*?)",", html_data)[0]    return video_urldef save(video_url):    """保存视频"""    title = video_url.split("/")[-1]    # 取链接当中的字段作为标题    video_data = requests.get(video_url, verify=False).content    # 发送网络请求    with open(f"video/{title}", mode="wb") as f:        f.write(video_data)    print(title, "爬取成功!!!")start_time = time.time()url = "https://www.520mmtv.com/hd/rewu.html"# 1. 向目标网站发送请求html_data = get_html(url=url)# 2. 第一次解析数据 提取详情页链接url_list = parse_data_1(html_data=html_data)for info_url in url_list[:10]:    # 3. 向详情页发送请求    html_data_2 = get_html(url=info_url)    # 4. 第二次解析数据 提取视频播放地址    video_url = parse_data_2(html_data=html_data_2)    # 5. 保存视频    save(video_url=video_url)print("花费时间：", time.time() - start_time)

云服务器 GPU云服务器这是一个这是一个登录操作写一个python爬虫 python 爬虫教程

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/124102.html

Python

摘要：最近看前端都展开了几场而我大知乎最热语言还没有相关。有关书籍的介绍，大部分截取自是官方介绍。但从开始，标准库为我们提供了模块，它提供了和两个类，实现了对和的进一步抽象，对编写线程池进程池提供了直接的支持。《流畅的python》阅读笔记《流畅的python》是一本适合python进阶的书, 里面介绍的基本都是高级的python用法. 对于初学python的人来说, 基础大概也就够用了...

dailybird 2019-07-30 15:13 评论0 收藏0
工欲善其事必先利其器：用什么写Python？

摘要：然而，每个人对编辑器的喜好各不相同，甚至引发出诸如神的编辑器与编辑器之神这种信仰之争。我们用来写的工具有两类一种是被称为的集成开发环境，它们为开发而生。但仅我上述提及的几个其实也足够用了。正如标题所说工欲善其事，必先利其器。通常来说，每个程序员都有自己趁手的兵器：代码编辑器。你要是让他换个开发环境，恐怕开发效率至少下降三成。然而，每个人对编辑器的喜好各不相同，甚至引发出诸如神的编...

Brenner 2019-07-31 11:16 评论0 收藏0
Python爬虫入门教程 4-100 美空网未登录图片爬取

摘要：爬虫分析首先，我们已经爬取到了多的用户个人主页，我通过链接拼接获取到了在这个页面中，咱们要找几个核心的关键点，发现平面拍摄点击进入的是图片列表页面。简介上一篇写的时间有点长了，接下来继续把美空网的爬虫写完，这套教程中编写的爬虫在实际的工作中可能并不能给你增加多少有价值的技术点，因为它只是一套入门的教程，老鸟你自动绕过就可以了，或者带带我也行。爬虫分析首先，我们已经爬取到了N多的...

netmou 2019-08-26 13:52 评论0 收藏0
Python爬虫入门教程 4-100 美空网未登录图片爬取

摘要：爬虫分析首先，我们已经爬取到了多的用户个人主页，我通过链接拼接获取到了在这个页面中，咱们要找几个核心的关键点，发现平面拍摄点击进入的是图片列表页面。简介上一篇写的时间有点长了，接下来继续把美空网的爬虫写完，这套教程中编写的爬虫在实际的工作中可能并不能给你增加多少有价值的技术点，因为它只是一套入门的教程，老鸟你自动绕过就可以了，或者带带我也行。爬虫分析首先，我们已经爬取到了N多的...

JowayYoung 2019-07-31 10:27 评论0 收藏0