前言

之前搞过几次模拟登录,都是模拟 post 后取到 cookie,之后便能用这个 cookie 愉快玩耍。这次碰到了验证码,其实只需手动登录一次,手动取到 cookie 后也能玩耍,不过 cookie 有效期不长,经常要换,十分麻烦。然后看到了这个库 tesseract.js,由于我们的验证码机器识别难度并不是很高,试了下出现 good case 概率还是非常高的,决定试下自动识别验证码登录。

验证码是用 PHP 生成的,指向一个 PHP 地址。原理不是很难,PHP 生成验证码图片,开启 Session(所以每次点击验证码切换图片,都会是一个新的 Session),然后把验证码数字记在 Session 数组中,当用户提交表单后,check 输入的验证码数字是否存在于 Session 数组中。

用的语言是 Node。之前想的非常简单,首先将验证码 down 下来,然后调用 tesseract.js 识别,最后模拟 post 后取到后续操作需要的 key cookie。

POST 中文参数问题

出现该问题需要满足两个条件:

  • 页面编码 GBK
  • POST 携带中文参数

模拟 post 有个参数 username 用的是中文,如果页面是 utf-8 编码应该没这个问题,就直接发送中文参数了,但是看实际请求中文参数被编码了,查了下 urlencode 这个包可以做类似的编码。将这个被编码后的参数填入发起模拟请求,报用户名错误,然后查到了 这个帖子,场景类似,同样是 gbk 编码页面的 post 携带了中文参数,我猜测原因也可能相同,被二次编码了。

但把转换过的字符串传到 request 的 form 中去后,request 又会对其中的 % 编码为 %25

用帖子里的方法可以解决:

var request = require('request');
var iconv = require('iconv-lite');

var post_request = request
    .post({
      url: 'https://xx.com',
      headers: {
        'Content-Type': 'application/x-www-form-urlencoded',
        'Cookie': 'PHPSESSID=xx'
      },
      encoding: null  // 关键代码
    }, function (err, sres, body) {
      // 解决返回页面乱码(gbk)
      var html = iconv.decode(body, 'gb2312');
      console.log(html);
    });

// form data
post_request.write("a=xx&b=xx&c=xx");

请求 gbk 页面会中文乱码,这里用了 iconv-lite 这个包,其他解决方法可以参考 node爬虫之gbk网页中文乱码解决方案

因为一直用的是 superAgent 这个模块,所以希望能在 superAgent 基础上解决这个问题,然后在 cnode 提了个 问题 ,最后也是解决了。

为了避免返回信息中文乱码,用了 superagent-charset 这个包:

var superagent = require('superagent-charset');

var req = superagent
  .post('https://xx.com')
  .set("Content-Type", "application/x-www-form-urlencoded")
  .set("Cookie", "PHPSESSID=xxx")
  .charset('gbk');

// form data
req.write("username=xx&password=xx&checkcode=xx");

req.end(function(err, sres) {
  console.log(sres.text);
});

验证码识别

以上问题解决后,PHPSESSID 这个 cookie 非常容易获取,模拟请求一次取 cookie 即可。手动在代码中输入浏览器中显示的验证码,模拟登录可以成功,然后取登录后的 cookie,确实也可以愉快玩耍,不过问题来了,验证码图片无法识别了!

昨天晚上试了下直接在登录页面右键复制下来验证码,然后用 tesseract.js 是可以解析的,但是用 Node down 下来的却不能解析,alsotang 大大说可能是 "buffer 在 ondata 的相加问题"。刚才试了下昨天手动保存验证码图片,成功解析的 case 也报错了,感觉是 tesseract.js 这个库还不是很成熟,过段时间再看看。

下载图片用的是这个函数:

// to download picture
function download(url, savePath) {
  var req = http.get(url, function(res){
    var binImage = '';
    res.setEncoding('binary');

    res.on('data', function(chunk){
      binImage += chunk;
    });

    res.on('end', function(){
      if (!binImage) {
        console.log('image data is null');
        return null;
      }

      fs.writeFile(savePath, binImage, 'binary', function(err){
        if (err) throw err;
        console.log('It\'s saved!'); // 文件被保存
      });
    });
  });
}

对 Node 不熟,这个问题留坑以后待解决了。

问题解决过程中,除了上面的帖子,还在 v 站发了个帖子,如何模拟登录有验证码的网站?,FYI

「post中文参数问题」以及「验证码自动识别备忘」的更多相关文章

  1. 如何评价苹果中国官网 iOS 8 介绍页面的文案「开发者的大事、大快所有人心的大好事」?[转自知乎]

    在什么是「苹果式中文」答案中,小七得出了这个结论: 「苹果式中文」是指句子结构破碎,经常缺乏主语,滥用排比,顶真,偏正短语,和不恰当四字词的广告文体. (有关什么是苹果式中文,小七原来贴错地方了TAT ...

  2. Java的参数传递是「按值传递」还是「按引用传递」?

    JAVA传递的只有值,.传递的都是栈里的的值,只是有些栈里面的是值.有的是内存地址.(原文传递的都是栈里的的值有误,局部变量在栈中,成员变量在堆中,类变量(静态变量和常量)在方法区中,可以看做本文的变 ...

  3. 【微信小程序】开发实战 之 「配置项」与「逻辑层」

    微信小程序作为微信生态重要的一环,在实际生活.工作.商业中的应用越来越广泛.想学习微信小程序开发的朋友也越来越多,本文将在小程序框架的基础上就微信小程序项目开发所必需的基础知识及语法特点进行了详细总结 ...

  4. [转帖]详解shell脚本括号区别--$()、$「 」、$「 」 、$(()) 、「 」 、「[ 」]

    详解shell脚本括号区别--$().$「 」.$「 」 .$(()) .「 」 .「[ 」] 原创 波波说运维 2019-07-31 00:01:00 https://www.toutiao.com ...

  5. Git 执行 「fork 出来的仓库」和「最新版本的原仓库」内容同步更新

    当我们在 GitHub 上 fork 出一个仓库后,如果原仓库更新了,此时怎样才能保证我们 fork 出来的仓库和原仓库内容一致呢?我们一般关注的是仓库的 master(主干分支)的内容,通过以下步骤 ...

  6. FileUpload控件「批次上传 / 多档案同时上传」的范例--以「流水号」产生「变量名称」

    原文出處  http://www.dotblogs.com.tw/mis2000lab/archive/2013/08/19/multiple_fileupload_asp_net_20130819. ...

  7. Java的参数传递是「值传递」还是「引用传递」?

    关于Java传参时是引用传递还是值传递,一直是一个讨论比较多的话题. 有人说Java中只有值传递,也有人说值传递和引用传递都是存在的,比较容易让人产生疑问. 关于值传递和引用传递其实需要分情况看待. ...

  8. Linux 小知识翻译 - 「Unix」和「兼容Unix的OS」

    经常有人会问「Linux和Unix有什么区别?」,「Linux就是Unix吗?」. 回答一般都是「Linux是仿照Unix而开发的OS」,「Linux和Unix相似但不是一种OS」之类的. 关于「Li ...

  9. Linux 小知识翻译 - 「Linux」和「发行版」之间的关系

    「Linux」本来指的仅仅是内核.5年之前大多都是这么认为的,但是最近不这么说了. 最近一般都说「Linux」是个 OS,这里的OS,不仅仅是内核,而是指电脑的整体环境(除了内核,还包括一些外围的软件 ...

随机推荐

  1. 浅玩JavaScript的数据类型判断

    前言 平常在需要进行类型判断时,随手拿起typeof就像手枪一样只管突突突...也没有仔细的去了解它的具体特性. 所以这里就利用空闲时间,来做一个较为详细的了解. 首先我们来全面看一遍typeof类型 ...

  2. 仅此一文让你明白ASP.NET MVC原理

    ASP.NET MVC由以下两个核心组成部分构成: 一个名为UrlRoutingModule的自定义HttpModule,用来解析Controller与Action名称: 一个名为MvcHandler ...

  3. Angular2中对ASP.NET MVC跨域访问

    应用场景 项目开发决定使用angular2进行前后端分离开发,由我负责后端服务的开发,起初选择的是web api进行开发.对跨域访问通过API中间件+过滤器对跨域访问进行支持.开发一段后,通知需要移植 ...

  4. Entity Framework 教程——概述

    Entity Framework 基础 本教材将手把手教你使用entity framework,我们将使用entity framework 6.0和visual studio 2012. 以下表格是e ...

  5. CentOS系统配置 iptables防火墙

    阿里云CentOS系统配置iptables防火墙   虽说阿里云推出了云盾服务,但是自己再加一层防火墙总归是更安全些,下面是我在阿里云vps上配置防火墙的过程,目前只配置INPUT.OUTPUT和FO ...

  6. WCF实现事件通知相关应用技巧介绍

    WCF实现事件通知是一个比较容易掌握的知识点,不过在实现的过程中,我们还是需要注意一些事项,以保证功能的完善性. WCF中有一些方法的应用对于初学者来说还是比较容易应用.只要熟练的联系这些方法操作,一 ...

  7. 关于MySql的1146错误修正

    在Mysql数据库中建立连接Mysql后建立了一个数据库名叫Mysql后删除了系统自动建立的数个表,导入.sql文件运行后,想要运行相关的SQL语句却发现一些未知错误为 Table 'mysql.pr ...

  8. CSS3 animation 动画

    今天看到一个很酷的logo看了下他用的是animation 动画效果,就拿来做例子 浏览器支持 Internet Explorer 10.Firefox 以及 Opera 支持 animation 属 ...

  9. BranchCache在sharepoint2013使用

    BranchCache 是 Windows 7.Windows 8.Windows Server 2008 R2 和 Windows Server 2012 操作系统的一项功能,此功能可在本地分支机构 ...

  10. reborn to freelancer

    I want to be a freelancer, so I come back to record all my efforts. I hope this will be a new start ...