摘要：点击，即可进入证书的安装页面。上一篇文章网络爬虫实战库的安装下一篇文章网络爬虫实战爬取相关库的安装的安装
上一篇文章：Python3网络爬虫实战---6、Web库的安装：Flask、Tornado
下一篇文章：Python3网络爬虫实战---8、APP爬取相关库的安装：MitmProxy的安装
除了 Web 网页，爬虫也可以对 APP 的数据进行抓取，APP 中的页面要加载出来，首先需要获取数据，那么这些数据一般是通过请求服务器的接口来获取的，由于 APP 端没有像浏览器一样的开发者工具直接比较直观地看到后台的请求，所以对 APP 来说，它的数据抓取主要用到一些抓包技术。
本书介绍的抓包工具有 Charles、MitmProxy、MitmDump，APP 一些简单的接口我们通过 Charles 或 MitmProxy 分析找出规律就可以直接用程序模拟来抓取了，但是如果遇到更复杂的接口我们就需要利用 MitmDump 对接Python来对抓取到的请求和响应进行实时处理和保存，另外既然要做规模采集就需要自动化 APP 的操作而不是人工去采集，所以这里还需要一个工具叫做 Appium，它可以像 Selenium 一样对 APP 进行自动化控制，如自动化模拟APP的点击、下拉等操作。
本节我们来了解一下 Charles、MitmProxy、MitmDump、Appium 的安装方法。
1.6.1 Charles的安装Charles 是一个网络抓包工具，在做 APP 抓包的时候会用到，相比 Fiddler 来说，Charles 的功能更为强大，而且跨平台支持更好，所以在这里我们选用 Charles 来作为主要的移动端抓包工具，用于分析移动 APP 的数据包，辅助完成 APP 数据抓取工作。
1. 相关链接官方网站：https://www.charlesproxy.com
下载链接：https://www.charlesproxy.com/...
2.下载CharlesCharles 的官网是：https://www.charlesproxy.com，我们可以在官网下载最新稳定版本，链接为：https://www.charlesproxy.com/...，它支持 Windows、Linux、Mac 三大平台。
3. 证书配置现在很多页面都在向 HTTPS 方向发展，HTTPS 通信协议应用越来越广泛，如果一个 APP 通信应用了 HTTPS 协议，那它通信的数据都会是被加密的，常规的截包方法是无法识别请求内部的数据的。
安装完成之后如果我们想要做 HTTPS 抓包的话还需要配置一下相关 SSL 证书，如果不配置的话无法抓取 HTTPS 请求。
点击 Help->SSL Proxying->Install Charles Root Certificate，即可进入证书的安装页面。
接下来找到 Charles 的证书双击，将信任设置为始终信任即可，如图 1-48 所示：
图 1-48 证书配置
这样就成功安装了证书。
如果你的手机是 iOS 系统，可以按照下面的操作进行证书配置。
首先查看一下电脑的 Charles 代理是是否开启的，点击 Proxy->Proxy Settings 即可打开当前代理设置页面，确保当前的 HTTP 代理是开启的，如图 1-49 所示：
图 1-49 代理设置
例如这里的代理端口为 8888，也可以自行修改。
接下来将手机和电脑连在同一个局域网下，例如当前电脑的 IP 为 192.168.1.76，那么首先设置手机的代理为 192.168.1.76:8888，设置如图 1-50 所示：
图 1-50 代理设置
设置完毕之后电脑上就会出现一个提示窗口，询问是否信任此设备，如图 1-51 所示：
图 1-51 提示窗口
点击 Allow 即可，这样手机就和 PC 连在了同一个局域网内了，而且设置了 Charles 的代理，这样 Charles 即可抓取到流经 APP 的数据包了。
接下来我们再安装 Charles 的 HTTPS 证书。
在电脑上打开 Help->SSL Proxying->Install Charles Root Certificate on a Mobile Device or Remote Browser，如图 1-52 所示：
图 1-52 证书安装页面入口
即可看到如下提示，如图 1-53 所示：
它提示我们在手机上设置好 Charles 的代理，我们刚才已经设置好了，然后在手机的浏览器中打开 chls.pro/ssl 下载证书，我们在手机上打开这个链接。
打开之后便会弹出证书的安装页面，如图 1-54 所示：
图 1-54 证书安装页面
我们点击安装，然后输入密码即可完成安装，如图 1-55 所示：
图 1-55 安装成功页面
如果你的 iOS 版本是 10.3 以下的话，此处信任 CA 证书的流程就已经完成了。
如果你的 iOS 版本是 10.3 及以上，还需要在设置->通用->关于本机->证书信任设置将证书添加完全信任，如图 1-56 所示：
在这里将 Charles 的证书的完全信任开关打开即可，如图 1-56 所示：
图 1-56 证书信任设置
这样 iOS 上配置信任 CA 证书的流程就结束了。
如果你的手机是 Android 系统，可以按照下面的操作进行证书配置。
Android 同样需要设置代理为 Charles 的代理，如图 1-57 所示：
图 1-57 代理设置
设置完毕之后电脑上就会出现一个提示窗口，询问是否信任此设备，如图 1-58 所示：
图 1-58 提示窗口
点击 Allow 即可。
接下来像 iOS 设备一样，在手机浏览器上打开 chls.pro/ssl，这时会出现一个提示框，如图 1-59 所示：
evernotecid://D603D29C-DFBA-4C04-85E9-CCA3C33763F6/appyinxiangcom/23852268/ENResource/p75
图 1-59 证书安装页面
我们为证书添加一个名称，然后点击确定即可完成证书的安装。
本文介绍了 Charles 的安装及证书配置过程，后文我们会介绍 Charles 的基本使用方法。
上一篇文章：Python3网络爬虫实战---6、Web库的安装：Flask、Tornado
下一篇文章：Python3网络爬虫实战---8、APP爬取相关库的安装：MitmProxy的安装
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/44042.html
摘要：下的安装的安装非常简单，使用即可，命令如下执行命令后即可完成的安装。另外还可以在端口上启动，命令如下更多启动方式可以参考的安装说明。上一篇文章网络爬虫实战网络爬虫实战爬取相关库的安装的安装下一篇文章网络爬虫实战爬取相关库的安装的安装 上一篇文章：Python3网络爬虫实战---7、Python3网络爬虫实战---APP爬取相关库的安装：Charles的安装下一篇文章：Python3网络...
摘要：所以如果对爬虫有一定基础，上手框架是一种好的选择。缺少包，使用安装即可缺少包，使用安装即可上一篇文章网络爬虫实战爬取相关库的安装的安装下一篇文章网络爬虫实战爬虫框架的安装 上一篇文章：Python3网络爬虫实战---9、APP爬取相关库的安装：Appium的安装下一篇文章：Python3网络爬虫实战---11、爬虫框架的安装：ScrapySplash、ScrapyRedis 我们直接...
摘要：支持全平台的安装，我们直接从的里面安装即可，链接为。平台可以下载安装包如，平台可以下载安装包如，平台可以选择下载源码，但是更推荐用下文的安装方式。上一篇文章网络爬虫实战爬取相关库的安装的安装下一篇文章网络爬虫实战爬虫框架的安装 上一篇文章：Python3网络爬虫实战---8、APP爬取相关库的安装：MitmProxy的安装下一篇文章：Python3网络爬虫实战---10、爬虫框架的安装...
摘要：在本书中用到的一些服务程序主要有。本节来分别介绍它们的安装方法。的安装是一个轻量级的服务程序，简单易用灵活，在本书中我们主要用它来做一些服务，本节我们来了解下它的安装方式。相关链接官方文档安装执行完毕之后即可完成安装。 上一篇文章：Python3网络爬虫实战---5、存储库的安装:PyMySQL、PyMongo、RedisPy、RedisDump下一篇文章：Python3网络爬虫实战-...
摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...
阅读 2672·2023-04-25 17:21
阅读 2518·2021-11-23 09:51
阅读 2790·2021-09-24 10:32
阅读 3693·2021-09-23 11:33
阅读 1947·2019-08-30 15:44
阅读 3436·2019-08-30 11:18
阅读 3419·2019-08-30 10:53
阅读 604·2019-08-26 13:25
