python爬虫爬取百合网的女人们和男人们

testHs 发布于2019-07-30 17:06 / 2686人阅读

摘要：学也有段时间了，目前学到了的类。个人感觉的类不应称之为类，而应称之为数据类型，只是数据类型而已只是数据类型而已只是数据类型而已重要的事情说三篇。

学Python也有段时间了，目前学到了Python的类。个人感觉Python的类不应称之为类，而应称之为数据类型，只是数据类型而已！只是数据类型而已！只是数据类型而已！重要的事情说三篇。

据书上说一个.py（常量、全局变量、函数、数据类型）文件为一个模块，那么就有了一种感觉：常量、全局变量、函数、数据类型是同一“级别的”。在此不多说了，收回自己的心思来看爬虫吧！

1、进百合网官网

单击“搜索”、单击“基本搜索”，这时会跳向另一个页面，该页面为登录页面（如图）：

2、找到login.js，具体步骤：F12、F5、network、js（如图）：

3、找登录时的异步请求，该请求在login.js中（如图）：

4、单击“基本搜索”，会得到两个异步请求

1：获取160个id (如图)：

2：根据id得到用户详细信息，为json数据（如图）：

说了这么多，该上代码了（总共261行）：

在此我就分享一下所需要用到的模块

requests

time

pymssql

想获取源码，可以关注微信公众号：

云服务器 GPU云服务器男人们爬虫和python python和爬虫爬虫爬取数据

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/42014.html

爬取博客园首页数据进行数据分析

摘要：目标选取了博客园，爬取了首页的前页文章，但是数据放在那一直没去分析。为了避免对博客园造成压力，爬虫代码不公开。注数据来源是年月日至月的博客园首页文章。谁是博客园最爱的用户最爱的用户，在这里是按文章上首页的数量来判断的。前言之前折腾了一小段时间scrapy，觉得使用起来异常简单，然后打算练练手。目标选取了博客园，爬取了首页的前200页文章，但是数据放在那一直没去分析。趁着现在有闲心，...

zilu 2019-07-30 14:40 评论0 收藏0
scrapy-redis分布式爬虫框架详解

摘要：分布式爬虫框架详解随着互联网技术的发展与应用的普及，网络作为信息的载体，已经成为社会大众参与社会生活的一种重要信息渠道。下载器中间件位于引擎和下载器之间的框架，主要是处理引擎与下载器之间的请求及响应。 scrapy-redis分布式爬虫框架详解随着互联网技术的发展与应用的普及，网络作为信息的载体，已经成为社会大众参与社会生活的一种重要信息渠道。由于互联网是开放的，每个人都可以在网络上...

myeveryheart 2019-07-30 16:09 评论0 收藏0
首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
关于Python爬虫种类、法律、轮子的一二三

摘要：一般用进程池维护，的设为数量。多线程爬虫多线程版本可以在单进程下进行异步采集，但线程间的切换开销也会随着线程数的增大而增大。异步协程爬虫引入了异步协程语法。 Welcome to the D-age 对于网络上的公开数据，理论上只要由服务端发送到前端都可以由爬虫获取到。但是Data-age时代的到来，数据是新的黄金，毫不夸张的说，数据是未来的一切。基于统计学数学模型的各种人工智能的出现...

lscho 2019-07-31 11:19 评论0 收藏0