起因

之前挖过爬取免费代理ip的坑，一个比较帅的同事热心发我有免费代理ip的网站，遂研究了下：https://proxy.coderbusy.com/。

解密

因为之前爬过类似的网站有了些经验，大概知道这些家伙都是啥套路于是就随手ctrl+shift+c选了一下端口号：

端口元素有个奇怪的data字段，怀疑是在这个数字8781的基础上生成的8080，查看源代码看看返回的是什么样的：

果然返回的html中的数字跟页面上显示的数字不一致，基本可以确定端口号是在页面加载完成后通过js在data-i字段的基础上生成的新端口号。

在此元素上右击，打一个dom断点并刷新网页：

当此元素被修改的时候自动停在了断点，格式化，分析js：

这是对所有的.port应用b方法，b方法是什么方法呢，在断点调试模式下选中此变量-->在控制台执行：

然后单击一下控制台上的输出，跳到了内存中的某段js，这段就是加密逻辑：

将其拿出：

$(function() {

    $('\x2e\x70\x6f\x72\x74\x2d\x62\x6f\x78')["\x65\x61\x63\x68"](function(wssP1, fnDKXroKU2) {

        var ClpoEy3 = $(fnDKXroKU2);

        var jgemfCG4 = ClpoEy3["\x64\x61\x74\x61"]('\x69\x70');

        var TO5 = window["\x70\x61\x72\x73\x65\x49\x6e\x74"](ClpoEy3["\x64\x61\x74\x61"]('\x69'));

        var tVF6 = jgemfCG4["\x73\x70\x6c\x69\x74"]('\x2e');

        for (var d7 = 0; d7 < tVF6["\x6c\x65\x6e\x67\x74\x68"]; d7++) {

            TO5 -= window["\x70\x61\x72\x73\x65\x49\x6e\x74"](tVF6[d7])

        }

        ClpoEy3["\x74\x65\x78\x74"](TO5)

    })

})

但是jQuery的选择器和方法都被转为了十六进制，完全看不懂是个啥啊，现在的问题就是怎么把上面的\x十六进制部分转成可读的形式:十六进制将\x部分去掉，然后使用String.fromCharCode()将剩下的部分转为字符，写出解密逻辑：

<!DOCTYPE html>

<html>

<head>

	<title></title>

</head>

<body>

<script id="raw_code" type="text/code-template">

$(function() {

	$('\x2e\x70\x6f\x72\x74\x2d\x62\x6f\x78')["\x65\x61\x63\x68"](function(wssP1, fnDKXroKU2) {

	    var ClpoEy3 = $(fnDKXroKU2);

	    var jgemfCG4 = ClpoEy3["\x64\x61\x74\x61"]('\x69\x70');

	    var TO5 = window["\x70\x61\x72\x73\x65\x49\x6e\x74"](ClpoEy3["\x64\x61\x74\x61"]('\x69'));

	    var tVF6 = jgemfCG4["\x73\x70\x6c\x69\x74"]('\x2e');

	    for (var d7 = 0; d7 < tVF6["\x6c\x65\x6e\x67\x74\x68"]; d7++) {

	        TO5 -= window["\x70\x61\x72\x73\x65\x49\x6e\x74"](tVF6[d7])

	    }

	    ClpoEy3["\x74\x65\x78\x74"](TO5)

	})

})

</script>

<script type="text/javascript">

	let content = document.getElementById('raw_code').innerHTML;

	content = content.replace(/\\x../g, hex => {

	    hex = parseInt(hex.replace(/\\x/, ""), 16);

        return String.fromCharCode(hex)

	});

	document.write(content);

</script>

</body>

</html>

十六进制转为字符串之后：

$(function() {

    $('.port-box')["each"](function(wssP1, fnDKXroKU2) {

        var ClpoEy3 = $(fnDKXroKU2);

        var jgemfCG4 = ClpoEy3["data"]('ip');

        var TO5 = window["parseInt"](ClpoEy3["data"]('i'));

        var tVF6 = jgemfCG4["split"]('.');

        for (var d7 = 0; d7 < tVF6["length"]; d7++) {

            TO5 -= window["parseInt"](tVF6[d7])

        }

        ClpoEy3["text"](TO5)

    })

})

稍稍整理下变量名，让可读性好一些：

$(function() {

    $('.port-box')["each"](function(i, elt) {

        var self = $(elt);

        var ip = self["data"]('ip');

        var falseIp = window["parseInt"](self["data"]('i'));

        var ipArray = ip["split"]('.');

        for (var i = 0; i < ipArray["length"]; i++) {

            falseIp -= window["parseInt"](ipArray[i])

        }

        self["text"](falseIp)

    })

})

值得一提的是上面的方法调用都采用了[“…”]的方式是因为方法名都被十六进制编码了，如果还用点.来调用的话可能编译都通不过啦。

分析上面代码，先将此对象转为了jQuery对象，然后调用jQuery的data()方法取数据字段，data()是jQuery对h5的一个支持，只需要data-*后面的*号部分就可以取出数据。

将ip和i字段取出，比如取出172.87.221.221和8781，然后将ip按照点号分割，即分为四段，然后使用8781减去每一段的值即为最终的端口。

可依据此逻辑写出java代码：

    private static int decode(String ip, String basePortStr) {

        int basePort = Integer.parseInt(basePortStr);

        int ipSum = Arrays.stream(ip.split("\\.")).map(Integer::parseInt).reduce(0, Integer::sum);

        return basePort - ipSum;

    }

完整爬取demo：

package org.cc11001100.mybatis_study_001;

import org.jsoup.Jsoup;

import java.io.IOException;

import java.net.URL;

import java.util.Arrays;

import java.util.List;

import static java.util.stream.Collectors.toList;

/**

 * @author CC11001100

 */

public class CoderBusyProxyCrawler {

    private static int decode(String ip, String basePortStr) {

        int basePort = Integer.parseInt(basePortStr);

        int ipSum = Arrays.stream(ip.split("\\.")).map(Integer::parseInt).reduce(0, Integer::sum);

        return basePort - ipSum;

    }

    private static List<String> grab(String url) throws IOException {

        return Jsoup.parse(new URL(url), 3000)

                .select(".table .port-box")

                .stream().map(elt -> {

                    String ip = elt.attr("data-ip");

                    String falsePort = elt.attr("data-i");

                    return ip + ":" + decode(ip, falsePort);

                }).collect(toList());

    }

    public static void main(String[] args) throws IOException {

        grab("https://proxy.coderbusy.com/").forEach(System.out::println);

    }

}

码农代理免费代理ip端口字段js加密破解的更多相关文章

  1. 码农很忙代理IP系统V1.0版本上线

    码农很忙代理IP系统V1.0版本上线 经过为期一个月的重写和测试,新版本的码农很忙代理IP系统已于今日正式上线.新版本拥有更精准的匿名类型识别和更高效的验证调度算法. 新版本仍旧采用ASP.NET B ...

  2. 蚂蚁代理免费代理ip爬取（端口图片显示+token检查）

    分析 蚂蚁代理的列表页大致是这样的: 端口字段使用了图片显示,并且在图片上还有各种干扰线,保存一个图片到本地用画图打开观察一下: 仔细观察蓝色的线其实是在黑色的数字下面的,其它的干扰线也是,所以这幅图 ...

  3. Nginx配置二级目录/路径 映射不同的反向代理和规避IP+端口访问

       当配置Nginx来映射不同的服务器 可以通过二级路径来反向代理 来解决一个外网端口实现多个服务访问. 配置如下: server { listen ; server_name demo.domai ...

  4. ip端口协议,SSHj加密连接

    SSH协议----一旦linux服务器开机,SSH协议就不断的侦听22端口,一旦有连接到达,就校验连接用户名和密码: 可以理解为连接ip端口为找到一栋大楼,发送用户名和密码为向大楼保安出示证件.SSH ...

  5. 记一次企业级爬虫系统升级改造（六）：基于Redis实现免费的IP代理池

    前言: 首先表示抱歉,春节后一直较忙,未及时更新该系列文章. 近期,由于监控的站源越来越多,就偶有站源做了反爬机制,造成我们的SupportYun系统小爬虫服务时常被封IP,不能进行数据采集. 这时候 ...

  6. 如何维护一个1000 IP的免费代理池

    楔子 好友李博士要买房了, 前几天应邀帮他抓链家的数据分析下房价, 爬到一半遇到了验证码. 李博士的想法是每天把链家在售的二手房数据都抓一遍, 然后按照时间序列分析. 链家线上在交易的二手房数据大概有 ...

  7. Python3.x：免费代理ip的批量获取并入库

    Python3.x:免费代理ip的批量获取并入库 一.简介 网络爬虫的世界,向来都是一场精彩的攻防战.现在许多网站的反爬虫机制在不断的完善,其中最令人头疼的,莫过于直接封锁你的ip.但是道高一尺魔高一 ...

  8. 采集15个代理IP网站，打造免费代理IP池

    采集的站点: 免费代理IP http://ip.yqie.com/ipproxy.htm66免费代理网 http://www.66ip.cn/89免费代理 http://www.89ip.cn/无忧代 ...

  9. nginx代理tomcat后，tomcat获取真实（非proxy,非别名）nginx服务端ip端口的解决方案

    nginx代理tomcat后,tomcat获取服务端ip端口的解决方案 1.注意修改nginx配置代理,标红地方 #user nginx; worker_processes ; error_log l ...

随机推荐

  1. "共振式”项目管理

    "共振式”项目管理--是我第一个提出的吗?:) 脑子里突然想到项目管理的一些事情,然后想到项目其实是有节奏的,项目中的人员其实如果找到了这个节奏,踏准了节奏,一切将是顺风顺水. 刚准备动笔时 ...

  2. find文件查找

    一.locate locate基于数据库索引来查找文件,数据库在开机时一段时间对更新,不会实时更新,数据库存放在(/var/lib/mlocate/mlocate.db),可以用updatedb来手动 ...

  3. jq中的表单验证插件------jquery.validate

    今天我们来说一下表单验证,有人说我们在进行表单验证的时候使用正则来验证是非常麻烦的,现在我来给大家介绍一下表单验证的插件:jquery.validate.min.js 它是与jquery一起结合用来使 ...

  4. MyBatis基础学习笔记--摘录

    1.MyBatis是什么? MyBatis源自于IBatis,是一个持久层框架,封装了jdbc操作数据库的过程,使得开发者只用关心sql语句,无需关心驱动加载.连接,创建statement,手动设置参 ...

  5. further occurrences of HTTP header parsing errors will be logged at DEBUG level.错误

    今天进行项目测试的时候出现了further occurrences of HTTP header parsing errors will be logged at DEBUG level.错误,查了半 ...

  6. css 的一些知识点的整理

    css的一些标签整理   background-attachment: scroll;背景图可滚动 background-attachment: fixed; 固定背景的位置,不随着滚动条移动而移动 ...

  7. 原生JS面向对象方法实现万年历

    ###面向对象的方法实现万年历 实现思路:    1.创建构造函数constructor    ```    function Calender(main){         this.current ...

  8. Mysql之数据类型(胖胖老师)

    like语句与通配符insert into teacher_1 values('胖胖', '男', 18),('小明', '男', 19),('张三', '男', 30),('李四', '男', 27 ...

  9. [ZJOI 2010]count 数字计数

    Description 题库链接 问你 \([l,r]\) 区间内所有整数中各个数码出现了多少次. \(1\leq a\leq b\leq 10^{12}\) Solution 数位 \(DP\) . ...

  10. POJ2449 Remmarguts' Date

    "Good man never makes girls wait or breaks an appointment!" said the mandarin duck father. ...