前言 好久不见啊,大伙假期过得咋样? 最近我在研究 Zigbee ,使用了EFR32(购买链接)的开发板,之前也研究过一点,水了几篇文章,但是没有深了解和使用.最近 arduino 玩腻了,我开始回过头去继续研究 Zigbee ,这里推荐一下芯科科技的视频教程(视频链接)做得确实不错,但是学习的过程中,我遇到一个问题:不知道什么原因 Simplicity studio 自带的抓包工具我用不了,不能抓包就很难受了啊.于是我研究了一下如何通过其他方法抓zigbee包. 不过 Simplicity s…

本文主要教你如何通过 Fiddler 来抓取手机端的数据包,包括 iOS 和 Android 端的配置和抓取. 一.Fiddler下载安装 访问 Fiddler 官网:https://www.telerik.com/download/fiddler 这里会要求填写一些东西,随便填写一些即可 下载完成后,傻瓜式安装即可 二.电脑端配置 1.https配置 Tools-->Options-->HTTPS 进入配置页面 参考下图进行配置 2.证书配置 点击上述页面的 Actions 按钮,选择第二个…

先放一个 <油猴脚本 之 网教通直播评论记录抓取>那篇文章的传送门 . 修复内容 将所有表情转为 [符号表情] 字样,而非删除: 修复被禁言用户读取异常,现在被禁言用户表示为 张三 [已禁言]: 修复被主播发言读取异常,现在主播发言表示为 张三 [主播]: 在导出的文件名后添上导出时间: 添加表头: 汉化所有弹窗: 保存文件时可以取消: 支持在到处之后按 Esc 键重新导出: 实现在加载完所有评论时,自动弹窗询问是否保存: 将评论中所有换行符全部转为 [换行],保证可读性的同时防止格式错乱:…

本文借鉴了@平胸小仙女的知乎回复 https://www.zhihu.com/question/36081767 写在前面: 文章有点长,操作有点复杂,需要代码的直接去文末即可.想要学习的需要有点耐心.当我理清所有逻辑后,我抑郁的(震惊的)发现,只需要改下歌曲ID就可以爬取其他任意歌曲的评论了!生成的TXT文件在程序同一目录. 有基础的可能觉得我比较啰嗦,因为我写博客一是为了记录下知识点,在遗忘的时候可以查看回顾下.二是因为我学编程的时候,搜到的很多帖子都是半残的,有些人是为了引流到自己的公众号…

Hawk是沙漠之鹰历时五年开发的开源免费网页抓取工具(爬虫),无需编程,全部可视化. 自从上次发布Hawk 2.0过了小半年,可是还是有不少朋友通过邮件或者微信的方式询问如何使用.看文档还是不如视频教学方便,沙漠君决定录播几段视频来帮助大家~ 软件最新的下载地址(或点击原文) https://github.com/ferventdesert/Hawk/releases 下面是视频内容,在腾讯视频可以开启高清,实测清晰度尚可,当然你也可以在百度云盘中下载以下全部视频. http://pan.bai…

一.为什么使用charles 前几天因为需要通过抓包定位问题,打开了尘封已久的fiddler,结果打开软件后什么也干不了,别说手机抓包了,打开软件什么请求也抓不到. 很多时候都是如此,如果一个方案不行,肯定要有替代方案的. 于是,想到了charles来进行抓包,也就是换一个工具完成了想做的事. 二.下载地址 https://www.charlesproxy.com/ 三.web抓包 Charles Web抓包非常简单,启动Charles会自动与浏览器设置成代理,不需要进行过多的设置,接下来我就就…

Fiddler基本原理 Fiddler数据包的原理是Fiddler将自己设置为一个代理服务器,默认监听127.0.0.1:8888端口同时将浏览器的HTTP.HTTPS协议设置为使用代理服务器也就是使用自己作为浏览器的代理服务器: 1.Fiddler原理图 打开Fiddler后Fiddler自动为你设置的HTTP代理: 2.HTTP代理图 抓取Andriod与IOS数据包的原理也是一样,在Andriod上设置Http代理为Fiddler代理服务器: Fiddler初步使用 安装Fiddler,这…

这里做得比较暴力,没有分页取出数据解析,O(∩_∩)O哈哈~,居然没有被挂机.不过解析的坑特别多...不过大部分我想要的数据都拿到了. //解析列表数据 var http = require("http"), cheerio = require("cheerio"), mongoose = require('mongoose'), db = mongoose.createConnection('mongodb://127.0.0.1:27017/crawl58');…

方法一:基于Fiddler2等第三方工具(需要在Java端禁用SSL安全检查) 原文拷贝自http://blog.csdn.net/zmxj/article/details/6327775,向原作者表示敬意 最近在写一个客户端访问客户提供的webservice时,得到响应异常,于是想用工具抓取请求响应的soap数据查找异常原因,如果service是http发布的,用一般的http.tcp监控工具都可以抓到发送数据的原文,但是我请求的service是https发布的,使用一般的较底层的网络抓包工具…

1.清理iphone的描述文件,在通用里面设置.这一步目的防止手机里面已经存在了DO_NOT_TRUST_FiddlerRoot证书,导致后面抓不了包,所以先清理下 2.下载安装fiddler,百度或者官网下载,我写这个时本来想去官网下载,无赖官网打开慢,就只有去百度搜索fiddler 下载了 官网地址: https://www.telerik.com/download/fiddler 下载后进行安装 3.这一步目的是清理下Fiddler已经存在的证书.打开Fiddler,tools > Opt…