我用Python爬取了五千张美女图壁纸，每天一张忘记初恋！

huaixiaoz 发布于2021-09-26 09:55 / 1013人阅读

摘要：爱美之心人皆有之，正所谓窈窕淑女君子好逑，美好敲代码的一天从好看的桌面壁纸开始，好看的桌面壁纸从美女壁纸开始。

大家好，我是辣条，这是我爬虫系列的第26篇。

爱美之心人皆有之，正所谓窈窕淑女君子好逑，美好敲代码的一天从好看的桌面壁纸开始，好看的桌面壁纸从美女壁纸开始。今天给大家带来福利啦，爬取美女图片作为桌面壁纸！【防止有人捶我打擦边球，都是正经的图片，自己想歪了是你的事，仅供学习交流】

采集目标

网址：36壁纸

展示效果

工具使用

开发工具：pycharm 开发环境：python3.7， Windows10 使用工具包：requests， lxml

项目思路解析

获取网页数据首先需要分辨数据是静态数据还是动态数据检验方法在网页源代码搜索你需要数据的关键字，要是有的话就是静态数据，没有的话就是动态数据，当前网页数据加载方式是通过url换页，通过循环的方式加载页面数据，使用requests发送网络请求获取当前网页数据，通过xpath语法定位到网页链接请求

记住在这里提取的数据是html链接我们要的一大批数据在详情页面

提取出当前网页所以的详情页面链接，xpath提取的数据为列表，循环取出每个数据依次发送请求

我们要获取的图片都在这里按照通样的方法使用xpath方式进行定位获取到所以详细图片的位置

获取到全部图片地址，这个图片需要注意的是是缩略图我们需要找出缩略图和大图url的区别

https://pic.3gbizhi.com/2021/0922/20210922094032743.jpghttps://pic.3gbizhi.com/2021/0922/thumb_200_0_20210922094032743.jpg

缩略图比大图多了thumb_200_0_ 进行分割在进行拼接，对图片的发送网络请求获取到详细的图片数据，在进行保存

简易源码分享

import requestsfrom lxml import etreeheaders = {    "Cookie": "Hm_lvt_c8263f264e5db13b29b03baeb1840f60=1632291839,1632373348; Hm_lpvt_c8263f264e5db13b29b03baeb1840f60=1632373697",    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36"}for i in range(2, 3):    url = f"https://www.3gbizhi.com/meinv/xgmn_{i}.html"    response = requests.get(url, headers=headers)    html = etree.HTML(response.text)    href_list = html.xpath("//div[@class="contlistw mtw"]//ul[@class="cl"]/li/a/@href")    title_list = html.xpath("//div[@class="contlistw mtw"]//ul[@class="cl"]/li/a/@title")    for href, title in zip(href_list, title_list):        res = requests.get(href, headers=headers)        html_data = etree.HTML(res.text)        img_url_list = html_data.xpath("//div[@class="picimglist pos"]/ul/li/a/img/@src")        print(img_url_list)        num = 0        for img_url in img_url_list:            img_url = "".join(img_url.split("thumb_200_0_"))            result = requests.get(img_url, headers=headers).content            with open("妹子/" + title + str(num) + ".jpg", "wb")as f:                f.write(result)            num += 1            print(f"正在下载{title}第{num}张！！！！")

行业资料：添加即可领取PPT模板、简历模板、行业经典书籍PDF。
面试题库：历年经典，热乎的大厂面试真题，持续更新中，添加获取。
学习资料：含Python、爬虫、数据分析、算法等学习视频和文档，添加获取
交流加群：大佬指点迷津，你的问题往往有人遇到过，技术互助交流。

领取

GPU云服务器云服务器我用python python手机壁纸 python读取文件每一行 python爬取

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/121157.html

首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
爬取5K分辨率超清唯美壁纸

摘要：爬取分辨率超清唯美壁纸简介壁纸的选择其实很大程度上能看出电脑主人的内心世界，有的人喜欢风景，有的人喜欢星空，有的人喜欢美女，有的人喜欢动物。 @[toc] 爬取5K分辨率超清唯美壁纸简介壁纸的选择其实很大程度上能看出电脑主人的内心世界，有的人喜欢风景，有的人喜欢星空，有的人喜欢美女，有的人喜欢动物。然而，终究有一天你已经产生审美疲劳了，但你下定决定要换壁纸的时候，又发现网上的壁纸要...

qc1iu 2019-07-31 10:10 评论0 收藏0
python大规模爬取京东

摘要：以上只是一个普通的爬虫，并没有用到什么框架，接下来将会写框架爬取的，请继续关注我的博客哦本人博客 python大规模爬取京东主要工具 scrapy BeautifulSoup requests 分析步骤打开京东首页，输入裤子将会看到页面跳转到了这里，这就是我们要分析的起点我们可以看到这个页面并不是完全的，当我们往下拉的时候将会看到图片在不停的加载，这就是ajax,但是当我...

megatron 2019-07-25 11:46 评论0 收藏0
我用Python写了一个邮箱脚本发给班花，没想到事情闹大了...

摘要：大家好，我是辣条。最先审核没通过，说我脚本涉嫌控制电脑违法违规，经过我再三的沟通之下，完整代码删除了，希望能通过审核。大家好，我是辣条。前言开学没多久，事又多正愁缺写博客的素材，这不马上就来了，憨憨室友又要整活，看在友（红）情（包）的份上必须帮忙。我起初的想法是通过邮箱发送表白...

luckyyulin 2021-09-07 09:59 评论0 收藏0
【爬虫】使用java爬取mm131美女图片

前言最近无意间在知乎专栏看到有人使用python爬取了mm131的图片。想着自己也有过爬虫的开发经验(抱着学习的态度)，故使用java也来写个小爬虫，爬虫框架用的是webmagic，传送门：https://github.com/code4craft/webmagic 实现整个爬虫项目如下图，极其精简，其中主要实现类是Mm131Spider showImg(http://pc3dvrbm9...

Anshiii 2019-08-16 12:45 评论0 收藏0