网络爬虫-POST请求示例

learn_shifeng 发布于2019-07-25 11:37 / 1763人阅读

摘要：请求比较常见的一种情况就是用户名密码登陆情况，这里介绍一种用程序登陆豆瓣账号的流程。在编写网络爬虫的时候，我们只需要把与用户相关的数据给程序就可以了，对于豆瓣来说，关键就是和两个字段，这样通过下面程序来实现。

POST请求比较常见的一种情况就是用户名密码登陆情况，这里介绍一种用程序登陆豆瓣账号的流程。

在豆瓣需要我们输入用户名密码，才能获得我们用户里面相关的数据。那么我们通过POST方式传给服务器的数据在哪里呢？与GET方式一样，我们可以在Chrome浏览器中查看请求头，在里面可以看到Form Data，很自然可以看到我们在页面输入的用户名密码。

登陆之后，我们就可以获得与用户相关的页面。因为是POST方式，浏览器的url并没有跳转到其他，仍然与登陆之前一样，但是页面内容，却发生了变化。

在编写网络爬虫的时候，我们只需要把与用户相关的数据给程序就可以了，对于豆瓣来说，关键就是form_email和form_password两个字段，这样通过下面程序来实现。

打印出来的内容，大家可以看看是不是登陆后页面的网页源代码呢？

楚江数据是一家专业的互联网数据技术服务商，提供网站APP数据采集和爬虫软件微博爬虫定制开发服务，服务范围涵盖社交网络、电子商务、分类信息、学术研究等。网站 http://www.chujiangdata.com。

转载请注明：宁哥的小站 » 4. 网络爬虫-POST请求示例

GPU云服务器云服务器 post请求发送post请求模拟POST请求 post请求中文乱码

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/38510.html

爬虫养成记 - 网络下载器urllib2伪装术

摘要：发送请求方不希望被跟踪。主要用来将伪装成一个正常的浏览器。该字典就是说是网络协议名称，是代理的。另外一般会明确指定资源存放的位置。意思是将现在提交的数据存放于下第篇。请求删除某一个资源。向服务器提交数据。前一个教程我们涉及到了urllib2的一些高级应用。这一片文章我们来比较系统的介绍一下。该篇教程参考了静觅的博文：http://cuiqingcai.com/954.html。写这...

Darkgel 2019-07-25 11:24 评论0 收藏0
Go 爬虫之 HTTP 请求 QuickStart

摘要：即是发送请求的客户端，请求的执行都是由发起。响应信息执行请求成功，如何查看响应信息。提交文件文件提交应该是请求中较为复杂的内容了。主要涉及两部分内容，即读取响应的与设置请求的。的包中请求是不重定向的，但测试结果显示的是自动重定向的。前几天在知乎想法谈到了一个话题，如何模仿学习，举了通过 net/http client 模仿 Pyhton 的requests的例子。但并未实践，难道...

antyiwei 2019-07-31 11:31 评论0 收藏0
网络爬虫介绍

摘要：什么是爬虫网络爬虫也叫网络蜘蛛，是一种自动化浏览网络的程序，或者说是一种网络机器人。什么是爬虫网络爬虫也叫网络蜘蛛，是一种自动化浏览网络的程序，或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容，以供搜索引擎做进一步处理（分检整理下载的页面），而使得用户能更快的检索到他们需要的信息。简...

sf190404 2019-07-31 10:23 评论0 收藏0
Python3网络爬虫实战---25、requests：高级用法

摘要：比如我们以知乎为例，直接利用来维持登录状态。测试后，发现同样可以正常登录知乎。上一篇文章网络爬虫实战基本使用下一篇文章网络爬虫实战正则表达式上一篇文章：Python3网络爬虫实战---24、requests：基本使用下一篇文章：Python3网络爬虫实战---26、正则表达式在前面一节我们了解了 Requests 的基本用法，如基本的 GET、POST 请求以及 Response...

dingding199389 2019-07-31 10:35 评论0 收藏0
Python3网络爬虫实战---15、爬虫基础：HTTP基本原理

摘要：上一篇文章网络爬虫实战部署相关库的安装下一篇文章网络爬虫实战网页基础在写爬虫之前，还是需要了解一些爬虫的基础知识，如原理网页的基础知识爬虫的基本原理基本原理等。由万维网协会和工作小组共同合作制定的规范，目前广泛使用的是版本。上一篇文章：Python3网络爬虫实战---14、部署相关库的安装：Scrapyrt、Gerapy下一篇文章：Python3网络爬虫实战---16、Web网页基础...

codeGoogle 2019-07-31 10:34 评论0 收藏0