手机app抓包
简介
爬虫是cs架构中的c端 原理是模拟浏览器向服务器发送请求 如果要爬取手机APP的数据,APP也是服务端与浏览器性质相同
我们只要获取到手机APP给服务器发送数据 并加以分析就能模拟它的请求 从而获取到数据 实现思路:
在app和服务器之间设置一个代理服务器
1.app的请求先发送给代理服务器
2.代理服务器把请求转发给真实服务器
3.真实服务器返回数据给代理服务器
4.代理服务器将数据返回给app客户端
需要的工具软件
1.Charles 代理服务器
2.postman/paw 模拟请求的工具
手机APP爬取流程
参考教程 https://www.jianshu.com/p/4635aa405568
1.charles安装并启动
默认 Proxy(代理)->选择Windows Proxy 可以直接代理windows请求 抓取windows软件的请求数据
取消Windows Proxy 就可以断开代理windows 2.要抓取手机APP 让手机与charles所在的电脑处于同一局域网中(连接同一个wifi即可)
如果没有wifi可以将电脑的网络进行共享(win10自带热点共享 其他系统可以安装网络共享工具) 3.将手机的代理服务器设置为charles(将代理服务器与手机设置为同一端口)
代理服务器 -> Proxy -> Proxy Settings ->可以查看端口号
安卓手机 点击链接打wifi 找到代理 选择手动 填写主机名与路由器的地址一致,端口为服务器的端口地址
苹果 蓝色感叹号 默认代理 选择手动 服务器与路由器的地址一致,端口为服务器的端口地址 4.连接后charles会有一个弹出框,选择allow即连接成功 5.如果是HTTP请求 可以直接获取数据
如果要获取HTTPS请求 需要安装证书
给电脑安装证书:
1.Proxy -> SSL Proxying Settings 勾上Enable SSL Proxying
-> Add Host:*(所有都代理) Port:443(HTTPS的端口) ->OK
2.装证书:Help -> SSL Proxying -> Install Charles Root Certificate ->安装证书 ->本地计算机 -> 将所有证书都放入下列存储 ->收信任的根证书颁发机构 ->导入成功 我们可以在管理用户证书中看到该证书 给手机安装证书:
Help -> SSL Proxying -> Install Charles Root Certificate on a Mobile ...
-> 手机浏览器访问chls.pro/ssl ->下载证书(如果下载的是*.pem文件要改名为*.crt 不然无法安装)
->给手机安装证书 以小米手机为例:点击设置-更多设置-系统安全-加密与凭证-从存储设备安装/从SD卡安装-找到刚才浏览器下载证书的路径选择安装,为这个证书起名-点确定完成安装-回到Charles,我们就可以看到https请求下的数据了
手机app抓包的更多相关文章
- Fiddler 网页采集抓包利器__手机app抓包
用curl技术开发了一个微信文章聚合类产品,把抓取到的数据转换成json格式,并在android端调用json数据接口加以显示: 基于weiphp做了一个掌上头条插件,也是用的网页采集技术:和一个创业 ...
- scrapy之手机app抓包爬虫
手机App抓包爬虫 1. items.py class DouyuspiderItem(scrapy.Item): name = scrapy.Field()# 存储照片的名字 imagesUrls ...
- fiddler抓包+安卓机 完成手机app抓包的配置 遇到的一些问题
fiddler抓包+安卓模拟器完成手机app抓包的配置:fiddler抓包+雷电模拟器 完成手机app抓包的配置 其实在安卓真机上弄比在虚拟机上弄更麻烦一点,它们的步骤都差不多一样,就是在安卓真机上弄 ...
- 爬虫之手机APP抓包教程-亲测HTTP和HTTPS均可实现
当下很多网站都有做自己的APP端产品,一个优秀的爬虫工程师,必须能够绕过难爬取点而取捷径,这是皆大欢喜的.但是在网上收罗和查阅了无数文档和资料,本人亲测无数次,均不能正常获取HTTPS数据,究其原因是 ...
- win10笔记本用Fiddler对手机App抓包
移动客户端项目有时需要针对手机app进行抓包,这时一般有两种办法:直接下个手机抓包工具的app,在手机上抓:pc机上装上抓包工具,pc和手机连接同一个无线,在pc机上抓.第一种比较简单,但抓包工具自然 ...
- charles关于手机APP抓包
这里相比其他抓包软件来说要简单的多了,具体步骤如下: 1 使手机和电脑在一个局域网内,不一定非要是一个ip段,只要是同一个漏油器下就可以了,比如电脑连接的有线网ip为192.168.16.12,然后手 ...
- fiddler抓包+雷电模拟器 完成手机app抓包的配置
1.下载最新版Fiddler,强烈建议在官网下载:https://www.telerik.com/download/fiddler 不下载最新版的话,配置起来会遇到很多问题,弄太麻烦了.因为我下载的是 ...
- 手机app抓包工具,安卓手机adb无线连接
默认手机已经usb调试配置完成 网络必须在同一网络中,每次断开wifi连接,都必须重新重做一次 使用数据线连接电脑 cmd 打开一个命令行 输入 # abd如果没有配置环境变量,请配置或者进入adb文 ...
- 手机app抓包[小米]
方案一:(手机电脑在同一wifi下) 打开burp设置代理 这里的ip为电脑的ip 手机手动设置代理为电脑的ip+8080 导入证书 电脑上下载下证书(http://burp) 传到手机上
随机推荐
- java常用工具包
1.国外 org.apache.commons.lang3 http://commons.apache.org/proper/commons-lang/javadocs/api-3.8.1/index ...
- day26:静态方法,类方法和反射
1,包内部不要去尝试应用使用相对导入,一定不会成功的,他不支持这个机制,包内导入时一定要用绝对导入 2,复习接口类,抽象类,Python中没有接口类,有抽象类,抽象类是通过abc模块中的metacla ...
- 2019年5款你必须知道的顶级ASO优化工具
仅仅几年前,品牌一直在挣扎着进入顶级榜单的时候.但随着时代的变迁,以及技术承担着市场的每一个噱头,一切都发生了变化,包括市场的传播,消费者行为和品牌影响.今天,品牌不仅仅局限于广告和促销,而且品牌的影 ...
- Jmeter设置默认中文页面
方法一(从网上看到的) 启动Jmeter找到 options >choose language >chinese(简体繁体自己选). 这样设置后界面就变成了中文,但是当我们下次打开时又恢复 ...
- js对重复数组去重
var arr=[1,1,1,1,2,2,2,3,3,4,1,4,5,7,8,7,7] let m = {} arr.filter(item => m[item] >= 1 ? false ...
- Linux netfilter 学习笔记
https://blog.csdn.net/lickylin/article/details/33321905
- Springboot-001-解决nested exception is org.apache.ibatis.binding.BindingException: Parameter 'env' not found. Available parameters are [arg1, arg0, param1, param2]
环境:Springboot + Mybatis + MySQL + VUE 场景: 前端发出数据比对请求,在服务后台与数据库交互时,接口提示错误信息如下所示: { "code": ...
- node.js爬取ajax接口数据
爬取页面数据与爬取接口数据,我还是觉得爬取接口数据更加简单一点,主要爬取一些分页的数据. 爬取步骤: 1.明确目标接口地址,举个例子 : https://www.vcg.com/api/common/ ...
- 初入 vue
基于 vue.js 的前端开发环境,用于前后端分离后的单页应用开发. 搭建 vue 项目 按官方指引,使用 vue-cli 搭建 vue 的项目. # 安装依赖库,建议指定 vue 和 element ...
- JAVA学习笔记 (okHttp3的用法)
最近的项目中有个接口是返回文件流数据,根据我们这边一个验签的插件,我发现里面有okHttpClient提供了Call.Factory,所以就学习了下okHttp3的用法. 1.概述 okhttp是一个 ...