一个比较独特的"HelloWorld"

为什么说是特殊的helloworld呢
给全世界的服务器发送一个请求,这就是我"打招呼"的方式
核心内容就是:向所有的ipv4地址发送一个请求
即x.x.x.x,如果其是web服务,就拿到其title标签里的内容,
然后看看这个IP(或者说网站)是做什么的,
你问我这么做的意义是什么?
文章结尾我再谈谈做这件事情的意义.

接下来谈谈过滤条件
IPV4地址有非常多个,从0.0.0.0~255.255.255.255,共有4,294,967,296个
将近43亿个,当然,这里面的IP大部分是无效的,无法访问的,
我将不会处理包含以下任意条件的IP地址,因为无意义
1.五秒内没有响应的
2.状态码不是200的
3.状态码是200,但没有title标签的.
4.其它无法访问的异常.
即使加了这些条件,要走完这43亿服务器,也必然是一个漫长的过程,
好在是机器帮我来做这件事情,我只要开着程序,过一段时间看看就好.

理一理思路
要想实现这个看似简单的需求,其实也并不是那么容易的

.要有一个IP生成器.按顺序生成0.0.0.0到255.255.255.255的IP字符串
生成出来的IP还不能保存,即生即用,不然分分钟爆内存啦.

要有计数器,统计一共请求过多少IP,失败过多少次?成功过多少次?失败原因等等

要开启多线程,不能单线程去请求,不然这辈子都别想把这个程序跑完.

要考虑到程序因为意外原因被关掉以后,不要又从头开始,
例如第一个请求是0.0.0.0,第二个是0.0.0.1,当你请求到数千万时,中断了,不能又从0.0.0.0开始.

开始撸代码
首先,关于IP生成器的想法,我的想法是映射
即0.0.0.0映射为0,代表着它是第0个IP地址
0.0.0.1映射为1,代表着它是第1个IP地址
0.0.1.0映射为256,代表第256个IP地址,
妥妥的256进制嘛,
假如我传入一个0~4294967295之间的整数,
是不是意味着这里面的每一个整数都可以映射为一个IP地址呢,
下面我用python来实现这个函数,

def ipv4(n):

        if n >= 16777216:
            ip_1 = int(n/16777216)
            ip_1s = n%16777216
            ip_2 = int(ip_1s/65536)
            ip_2s = ip_1s%65536
            ip_3 = int(ip_2s/256)
            ip_3s = ip_2s%256
            ip_4 = ip_3s
            # print(ip_1,ip_2,ip_3,ip_4,sep=".")
            return "{}.{}.{}.{}".format(ip_1,ip_2,ip_3,ip_4)
        elif n<16777216 and n>=65536:
            ip_1 = 0
            ip_2 = int(n/65536)
            ip_2s = n%65536
            ip_3 = int(ip_2s/256)
            ip_3s = ip_2s%256
            ip_4 = ip_3s
            # print(ip_1,ip_2,ip_3,ip_4,sep=".")
            return "{}.{}.{}.{}".format(ip_1,ip_2,ip_3,ip_4)
        elif n<65536 and n>=256:
            ip_1 = 0
            ip_2 = 0
            ip_3 = int(n/256)
            ip_3s = n%256
            ip_4 = ip_3s
            # print(ip_1,ip_2,ip_3,ip_4,sep=".")
            return "{}.{}.{}.{}".format(ip_1,ip_2,ip_3,ip_4)
        else:
            # print("0.0.0.{}".format(n))
            return "0.0.0.{}".format(n)

随便输个数字测一下

>>>ipv4(2888889999)
172.48.246.143
>>>ipv4(256)
0.0.1.0

接下来,准备一个巨大的整数(42,9496,7295)
它代表着255.255.255.255.
没错,只是一个网关地址,它肯定无法被请求,但我还是决定从它开始,
每发送一个请求,这个数字就减去一,来个死循环

流程总体来说就是这样的:
1.取到count,这个值(42,9496,7295)当计数器
2.把这个值解析为IP.(255.255.255.255),
3.向这个IP地址发送请求
4.count-=1
循环以上操作.
第1次执行的时候,请求地址是255.255.255.255
第2次:255.255.255.254
第3次:255.255.255.253
第4次:255.255.255.252
…

下面是具体请求的代码
节选自Class的代码
代码写得比较糙,因为这只是个小demo,写着玩,敬请谅解,
取到的数据直接保存成txt了,后面有空再优化.

def getdata(self,ip):

        try:
            r = requests.get(url=ip, headers=self.headers ,timeout=self.timeout)
            r_code = r.status_code
            r_text = r.content.decode("utf8")
            title = re.findall("<title>(.*?)</title>", r_text)

            if r_code!=200:
                self.bad_status_count+=1
                return
            if len(title)==0:
                self.not_title_count+=1
                return
            if title[0]=="":
                self.not_title_count+=1
                return
            c_ip = ip.replace("http://","")

            with open("f://hello_world/"+c_ip+title[0]+".txt","w",encoding="utf8")as f:
                pass

        except:
            self.time_out_count+=1
            return

全部代码:

我开了1000个线程.
没有做MT4教程线程锁之类的东西,测试了一下不影响,就没做了
数据以光有名字没内容的txt文件存在f盘hello world文件夹里,
如果有copy代码运行的,可以自己改路径
比较糙,有空再优化

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: kcc time:2019/11/16

import requests,re,random,threading,time,os

class SpiderWorld():

    def __init__(self):

        self.headers = {
            "User-Agent":"User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36"
            ,"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3"
        }

        self.timeout = 5

        self.ip_count = 4294967295
        #2642648575
        #4294967295
        self.time_out_count = 0

        self.bad_status_count = 0 

        self.not_title_count = 0 

    def getdata(self,ip):
        #发送请求
        try:
            r = requests.get(url=ip, headers=self.headers ,timeout=self.timeout)
            r_code = r.status_code
            r_text = r.content.decode("utf8")
            title = re.findall("<title>(.*?)</title>", r_text)

            if r_code!=200:
                self.bad_status_count+=1
                return
            if len(title)==0:
                self.not_title_count+=1
                return
            if title[0]=="":
                self.not_title_count+=1
                return
            c_ip = ip.replace("http://","")

            with open("f://hello_world/"+c_ip+title[0]+".txt","w",encoding="utf8")as f:
                pass

        except:
            self.time_out_count+=1
            return

    def ipv4(self,n):
        #把n解析为IP地址字符串
        if n >= 16777216:
            ip_1 = int(n/16777216)
            ip_1s = n%16777216
            ip_2 = int(ip_1s/65536)
            ip_2s = ip_1s%65536
            ip_3 = int(ip_2s/256)
            ip_3s = ip_2s%256
            ip_4 = ip_3s
            # print(ip_1,ip_2,ip_3,ip_4,sep=".")
            return "{}.{}.{}.{}".format(ip_1,ip_2,ip_3,ip_4)
        elif n<16777216 and n>=65536:
            ip_1 = 0
            ip_2 = int(n/65536)
            ip_2s = n%65536
            ip_3 = int(ip_2s/256)
            ip_3s = ip_2s%256
            ip_4 = ip_3s
            # print(ip_1,ip_2,ip_3,ip_4,sep=".")
            return "{}.{}.{}.{}".format(ip_1,ip_2,ip_3,ip_4)
        elif n<65536 and n>=256:
            ip_1 = 0
            ip_2 = 0
            ip_3 = int(n/256)
            ip_3s = n%256
            ip_4 = ip_3s
            # print(ip_1,ip_2,ip_3,ip_4,sep=".")
            return "{}.{}.{}.{}".format(ip_1,ip_2,ip_3,ip_4)
        else:
            # print("0.0.0.{}".format(n))
            return "0.0.0.{}".format(n)

    def main(self):
        #主函数循环
        while True:

            req_ip = "http://"+self.ipv4(self.ip_count)
            self.ip_count-=1
            self.getdata(req_ip)

            if self.ip_count<100:return

    def state(self):
        #每隔十秒输出一下日志
        while True:
            with open("a.txt","w",encoding="utf8")as f:
                f.write("当前轮询IP地址{}".format(self.ipv4(self.ip_count))+"\n")
                f.write("当前剩余IP地址数{}".format(self.ip_count)+"\n")
                f.write("超时数量{}".format(self.time_out_count)+"\n")
                f.write("错误状态码数{}".format(self.bad_status_count)+"\n")
                f.write("无效标题数{}".format(self.not_title_count)+"\n")

            time.sleep(10)

if __name__ == "__main__":
    #开启程序1000线程
    a = SpiderWorld()
    for i in range(1000):
        t = threading.Thread(target=a.main)
        t.start()

    #开启一个输出日志的线程
    a = threading.Thread(target=a.state)
    a.start()