13.App爬取相关库的安装（Charles，Mitmproxy，Appium）

由于App没有像浏览器一样直观的后台请求工具，主要用一些抓包技术抓取数据。（目前也在学习安装，参考书籍。）

首先呢，一些简单的接口通过Charles或mitmproxy分析，找出规律，直接用程序去抓取就行。但是遇到麻烦的接口，就需要用到mitmdump对接python来对抓取到的请求和响应进行实时处理和保存。
规模性的采集，可以借助工具appium,自动化模拟app的点击、下拉操作。

一.安装Charles
1.安装Charles
下载地址：https://www.charlesproxy.com/download/   下载对应版本（选择试用，跟pycharm一样都是可以试用30天）

2.解压安装包，安装到配置目录。

3.修改证书配置
原因：app通信应用了https协议，它的通信数据就会被加密，常规的截包方法无法请求数据。

配置步骤 打开软件 点击Help>SSL Proxying>Install Charles Root Certificate 

点击安装证书>下一步>将所有证书放入到下列存储>浏览>受信任的根证书颁发机构>确定>下一步>完成

二.安装 mitmproxy 

mitmproxy 是个支持http和https的抓包程序，类似fiddles，charles，它是通过控制台形式操作的。

含有两个关键组件：
mitdunp  命令行接口，通过它对接python脚本，实现监听后的处理。
mitweb　　是一个web程序，通过它观察到mitmproxy捕获的请求。

这里我直接通过pip 简单安装 

pip3 install mitmproxy
三.Appium安装

Appium 移动端自动化测试工具 

下载地址：　　https://github.com/appium/appium-desktop/releases

安装1.7.0版本成功 如图：

下一步安装node.js过程参考:　　http://www.runoob.com/nodejs/nodejs-install-setup.html

下载node.js 安装包  : https://nodejs.org/dist/v4.4.3/node-v4.4.3-x64.msi

我采取的是二进制exe文件安装 过程如图：

四.Android开发环境配置

使用安卓设备做app抓取：下载配置 Android SDK 安装 Android Studio（大神推荐安装）

下载地址:https://developer.android.com/studio/index.html?hl=zh-cn (网站暂时进不去，未安装成功！)