某网页数据爬取记录

tain335 发布于2019-07-24 18:06 / 1550人阅读

摘要：在某网站上进行搜索，发现搜索内容明和传递数据密有如下关系明北京大学密明北京大密明北京密明北密我一直以为这是某种加密传递。知道前段时间看了编码的相关知识，才意识到自己傻逼了。但看编码的内容明显不是，而应该是。

在某网站上进行搜索，发现搜索内容(明)和传递数据（密）有如下关系：

明：北京大学
密：789C7BDA33FDC9AE354F972C7FBA761900391708BB
明：北京大
密：789C7BDA33FDC9AE354F972C070020DF0683
明：北京
密：789C7BDA33FDC9AE35000F480453
明：北
密：789C7BDA331D0004610209

我一直以为这是某种加密传递。知道前段时间看了base64编码的相关知识，才意识到自己傻逼了。但看编码的内容明显不是base64，而应该是base16。

用python下的base64模块进行解码：

import base64
>>>base64.b16decode(b"789C7BDA331D0004610209")
b"xx9c{xda3x1dx00x04ax02	"

解码之后，还是不能明白到底是啥意思。于是google了一下"xx9c"发现这有可能使用zlib压缩之后的结果。

>>> zlib.decompress(b"xx9c{xda3x1dx00x04ax02	")
b"xe5x8cx97"

到这里，就很明显是一个中文的utf-8编码。

>>> b"xe5x8cx97".decode()
"北"

剩下的事情，就是遍历一下。哈哈哈哈………………

GPU云服务器云服务器 java网页爬取数据爬取网页云盾爬取网页 python爬取网页图片

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/37595.html

零基础如何学爬虫技术

摘要：楚江数据是专业的互联网数据技术服务，现整理出零基础如何学爬虫技术以供学习，。本文来源知乎作者路人甲链接楚江数据提供网站数据采集和爬虫软件定制开发服务，服务范围涵盖社交网络电子商务分类信息学术研究等。楚江数据是专业的互联网数据技术服务，现整理出零基础如何学爬虫技术以供学习，http://www.chujiangdata.com。第一：Python爬虫学习系列教程（来源于某博主：htt...

KunMinX 2019-07-25 11:29 评论0 收藏0
首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
Python微型异步爬虫框架

摘要：微型异步爬虫框架基于的异步框架，搭建一个模块化的微型异步爬虫。可以对该爬虫的布隆过滤器进行配置，安装中间件等。回调函数整个项目的主要实现在于回调函数的使用，利用异步请求得到响应后马上调用其请求绑定的回调函数来实现爬虫的异步爬取。 Amipy Python微型异步爬虫框架(A micro asynchronous Python website crawler framework) 基于...

z2xy 2019-07-31 10:03 评论0 收藏0
恶意爬虫这样窥探、爬取、威胁你的网站

摘要：利用这一业务逻辑，恶意爬虫通过各类社工库拿到一批手机号后可以在短时内验证这批号码是否为某一网站的注册用户。事前的甄别预防才是关键恶意爬虫在给网站带来可观访问量的同时，也带来了难以估量的威胁和损失。整个互联网的流量中，真人占比有多少？ 80% ？ 60% ？ 50% ？ showImg(https://segmentfault.com/img/bVGSra?w=350&h=346); ...

wangbjun 2019-07-25 13:49 评论0 收藏0