爬虫爬数据时,post数据乱码解决的方法
近期在写一个爬虫,目标站点是:http://zx.bjmemc.com.cn/。可能是为了防止被爬取数据,它给自身数据加了密。
用谷歌自带的抓包工具也不能捕获到数据。
于是下了Fiddler。
Fiddler的爬取结果例如以下:
可见。除了头信息之外。以下的数据信息显示成了乱码。这样就不能用程序模拟浏览器发送数据了。
解决的方法之中的一个就是获取此字符串的十六进制编码。将Fiddler切换至Hexview。例如以下图所看到的:
当中蓝色部分是header头信息,黑色字体就是传送的数据。
你还能够右键-》取消勾选show header,这样显示的便都是数据信息。
我们程序中能够将这个十六进制字符长串转化成字符串,然后发送到webserver中。
转化的程序例如以下所看到的:
public static byte[] GetByteArray(string frame)
{
byte[] buffer = new byte[frame.Length / 2]; //注意每两个十六进制字符代表一个二进制编码
for (int i = 0; i < frame.Length / 2; i++)
{
int t = GetData(frame[2 * i]) * 16 + GetData(frame[2 * i + 1]);
buffer[i] = (byte)t;
}
return buffer;
} static int GetData(char p) //获得ASCII编码
{
if (p <= '9' && p >= '0')
{
return p - '0';
}
else
{
return p - 'a' + 10;
}
}
1、先选中你要导出的十六进制字符长串-》右键-》save selected bytes-》到一文件里。 可是遇到一个问题就是,怎样将Fiddler的十六进制字符串拷贝出来,若手动抄写。非常不现实,一来太长,二来怕错。能够借助Notepad++或者UltraEdit转化过来。本人用Notepad++实验成功:
2、用Notepad++打开此文件。发现仍然是乱码
3、下载十六进制显示插件下载:HexEditor_0_9_5_UNI_dll.zip
4、解压后将HexEditor.dll文件放在Notepad++安装文件夹的plugins文件夹下,重新启动notepad++
5、再次用Notepad++打开文件。plugins->HEX-Editor->View in HEX,显演示样例如以下:
6、选中你要复制的十六进制字符串。复制。然后新建文本,粘贴,就是一个带有空格的字符串了。去除空格和换行就可以。
7、有一种高速去除空格的方法,选中一个空格,ctrl+f。切换到替换标签,然后点击替换全部button,这样将全部的空格都替换成了空字符串,也就删除了全部空格。
爬虫爬数据时,post数据乱码解决的方法的更多相关文章
- (转)MySQL 插入数据时,中文乱码问题的解决
MySQL 插入数据时,中文乱码问题的解决 原文:http://www.cnblogs.com/sunzn/archive/2013/03/14/2960248.html 当向 MySQL 数据库插 ...
- 在MyBatis中查询数据、涉及多参数的数据访问操作、插入数据时获取数据自增长的id、关联表查询操作、动态SQL、关于配置MyBatis映射没有代码提示的解决方案
1. 单元测试 在单元测试中,每个测试方法都需要执行相同的前置代码和后置代码,则可以自定义2个方法,分别在这2个方法中执行前置代码和后置代码,并为这2个方法添加@Before和@After注解,然后, ...
- 关于IMP由拥有DBA权限的用户EXP数据时,数据存放表空间的几种情况(IMP-00013) -1
关于IMP由拥有DBA权限的用户EXP数据时,数据存放表空间的几种情况(IMP-00013) -1 ORACLE公司来培训BIEE,带了一个DEMO的DMP文件,其导出用户DBO具有DBA权限,缺省表 ...
- PHP创建文件命名中文乱码解决的方法
PHP创建文件命名中文乱码解决的方法 <pre>iconv('utf-8', 'gbk', $dir); </pre> 因为系统环境是gbk 所以里面的字符也要gbk 编码一致 ...
- MySQL 插入数据时,中文乱码问题的解决(转)
当向 MySQL 数据库插入一条带有中文的数据形如 insert into employee values(null,'张三','female','1995-10-08','2015-11-12',' ...
- MySQL 插入数据时,中文乱码???问题的解决
在终端,mysql -u root -p 登录: show variables like 'character%'; 来查看当前数据库的相关编码集. client 为客户端使用的字符集. connec ...
- MySQL 插入数据时,中文乱码问题的解决
当向 MySQL 数据库插入一条带有中文的数据形如 insert into employee values(null,'张三','female','1995-10-08','2015-11-12',' ...
- Java 前台后台数据传递、中文乱码解决方法
1.向前台传递数据;2.向后台传递数据;3.ajax post 提交数据到服务端时中文乱码解决方法;4.数组类型参数传递; 1.向前台传递数据:1.1 字符串数据传递: 这种方式只是单一的向前台传递 ...
- easyui datagrid 没数据时显示滚动条的解决方法
今天解决了一个bug,因为datagrid有多列,可是当没有数据的时候,后面的列无法通过滚动条拉动来显示,比较麻烦,而需求要求没有数据也要拉动滚动条查看后面有什么列,一开始在网上找了一些资料,发现都不 ...
随机推荐
- 说说Kindle那些事
已经不记得是什么时候在哪里听过kindle这玩意的了,反正最开始买kindle还是大四上学期,貌似是2012-9-30,那时候是整个大学最闲的时候,不知道哪天闲的蛋疼一冲动就买了个kindle4黑色款 ...
- Linux学习总结(9)——Linux 新手必知必会的 10 条 Linux 基本命令
Linux 对我们的生活产生了巨大的冲击.至少你的安卓手机使用的就是 Linux 核心.尽管如此,在第一次开始使用 Linux 时你还是会感到难以下手.因为在 Linux 中,通常需要使用终端命令来取 ...
- java RSA加密算法
[转]RSA加密算法 RSA公钥加密算法是1977年由Ron Rivest.Adi Shamirh和LenAdleman在(美国麻省理工学院)开发的.RSA取名来自开发他们三者的名字.RSA是目前 ...
- 一些牛人的IOS博客,mark下慢慢学习
http://blog.devtang.com/ 唐巧的个人blog http://gracelancy.com/ Lancy's blog http://b ...
- Node.js的helloworld 程序
用文本编辑器.如npp,键入例如以下代码.存储成hello.js console.log('hello') console.log('hello %s->%d','jeapedu', 19418 ...
- Android程序猿自己动手制作.9.png图片
1:怎样制作9.png图片素材: 打开SDK工具文件夹下: draw9patch.zip 解压执行draw9patch.bat.有的直接搜索会有:draw9patch.bat. 双击执行后,例如以下 ...
- 关于WMware Workstation出现 “”该虚拟机似乎正在使用中“”解决办法
如图 直接到配置文件D:\centos1\这个目录下 将vmdk.lck文化删除 然后重新打开虚拟机便可进入 问题解决
- idea里新建maven项目时,在new module页面,一直显示loading archetype list...
不知道什么时候开始,在idea里新建maven项目时,在new module页面,一直显示loading archetype list....,导致一直没办法新建.后来我以为是防火墙问题,各种设置还是 ...
- 设计兼容不同的屏幕尺寸的Android界面
Android的屏幕类型有几百种不同的尺寸,从小型的手机到大型的电视机.因此要使我们的应用程序兼容不同屏幕尺寸,才可以让我们的应用提供给更多的用户使用. 一.支持不同的屏幕尺寸 1.使用"w ...
- 打包,VS 之 InstallShield Limited Edition for Visual Studio 2015 图文教程
转载收藏于 https://www.cnblogs.com/xinaixia/p/5473815.html 从Visual Studio 2012开始,微软就把自家原来的安装与部署工具彻底废掉了,转而 ...