APP爬虫（2）把小姐姐的图片down下来

书接上文。使用appium在帖子列表界面模拟上划动作，捕捉不到列表的规律。上划结束后，列表只能获取到屏幕呈现的部分，而且下标还是从0开始的。

根据酸奶爸爸多年码代码的经验，帖子肯定不是一次性加载完成的，一定会有分页，上划操作到某处APP一定会请求API接口。那么我们监听APP的网络请求不就能获取到帖子内容了吗！

mac下使用charles这个软件实现。

配置好charles网络监听后又遇到拦路虎，APP的请求是https协议的，charles监听到的报文都是乱码的。我在百度上谷歌了一下。

终于能在charles里看到明文的网络请求了，于是通过网络请求可以归纳出帖子分页加载的规律。这样酸奶爸爸就可以自己编写程序，循环调用API请求抓取数据了。此处又遇到拦路虎（我为什么要加个“又”字）。API的请求做了参数签名校验，每次从charles抓到的请求，时效只有5分钟。

如果抓取程序能够尽可能的模仿用户行为，那么我们会突破所有服务端的屏障。

使用appium的在帖子详情页每3秒模拟用户上划一次，使用charles监听虚拟机的网络请求。这样charles会源源不断的捕捉到帖子分页的API请求。此处又又遇到拦路虎（我不喜欢“拦”，但我喜欢“路虎”）。此时小姐姐们的照片还是在charles里，而且还都是url字符串。

使用charles的自动保存功能，定时保存API响应结果。在charles的菜单栏“Tools”->“Auto Save”。按照下图配置，“Save Type”请选择“HTTP Archive”。配置完成后，charles抓取到的API响应会保存为HAR格式的文本文件。

HAR 格式规范

到这里总算是拨开云雾见青天，har文件记录是每次API请求的全过程，有url、参数、响应时间和返回值等等，而且还是标准的json格式。我们可以用新学的go语言写一个控制台程序来解析har文件，并将解析后的结果整理归类，帖子内容存入MySQL数据库，小姐姐们的图片curl下载到文件系统。

新语言的学习并不都是新知识的学习，更多的是编程习惯的迁移。

酸奶爸爸本来是做PHP开发的，现在用GO语言写这个，本次迁移的技能如下：

日志记录
MySQL数据库读写
断点调试
文本文件读取
json解析
配置文件的解析
curl下载文件

所以新语言的学习，第一步只要掌握语法，后续其实就是探索新语言所引入的新特性而已，以go语言为例，它对高并发有独到的设计。至于我们在旧语言所掌握的一些通用技能，一并迁移过来就好。go语言如何连接redis、RabbitMQ，这等通用的功能无非就是用go语言的方式引用一下包而已。

所以你看，离开舒适区其实也挺容易的吧。

总结，这里才是干货

学习新技能要给自己设立一个目标作为奖励，遇到困难的时候，想想我们的达成目标后的奖励，是不是又有动力了。哪怕仅仅以看视频教程的方式学新语言，也坚持不了多久。
我们掌握的每一项技能都是一个工具，遇到问题的时候，回顾一下我们的工具箱，将其中某几种工具组合起来就能解决问题。所以平时要多听多看多思考，这样我们才能向工具箱里装足够多的工具。遇到问题的时候，才有足够多的工具以供组装起来解决问题。
旧语言与新语言重叠的功能，这些是时间积淀的经典，需要夯实；新语言的新特性需要格外关注，无论是找工作还是装13都用得到；旧语言的旧功能，就让它随风而去吧。