今天咱写一个挺实用的工具，就是扫描并获取可用的proxy

首先呢，我先百度找了一个网站：http://www.xicidaili.com 作为例子

这个网站里公布了许多的国内外可用的代理的ip和端口

我们还是按照老样子进行分析，就先把所有国内的proxy扫一遍吧

点开国内部分进行审查发现，国内proxy和目录为以下url：

http://www.xicidaili.com/nn/x

这个x差不多两千多页，那么看来又要线程处理了。。。

老样子，我们尝试是否能直接以最简单的requests.get()获取内容

返回503，那么我们加一个简单的headers

返回200，成咯

好了我们先进行网页内容分析并获取想要的内容

我们发现，包含ip信息的内容在<tr>标签内，于是我们就能很方便的用bs进行获取标签内容

但是我们随之又发现，ip、端口、协议的内容分别在提取的<tr>标签的第2,3,6三个<td>标签内

于是我们开始尝试编写，一下为编写思路：

　　处理页面的时候，是先提取tr标签，再将tr标签中的td标签提取

　　所以运用了两次bs操作，并且第二次使用bs操作时需要进行str处理

　　因为我们获得tr之后，我们需要其中的2,3,6号的东西，

　　但是当我们用一个for循环输出的i并不能进行组的操作

　　所以我们干脆分别对每一个td的soup进行第二次操作之后直接提取2,3,6

　　提取之后，直接加上.string提取内容即可

r = requests.get(url = url,headers = headers)

    soup = bs(r.content,"html.parser")

    data = soup.find_all(name = 'tr',attrs = {'class':re.compile('|[^odd]')})

    for i in data:

        soup = bs(str(i),'html.parser')

        data2 = soup.find_all(name = 'td')

        ip = str(data2[1].string)

        port = str(data2[2].string)

        types = str(data2[5].string).lower() 

        proxy = {}

        proxy[types] = '%s:%s'%(ip,port)

这样，我们每次循环都能生成对应的proxy字典，以便我们接下来验证ip可用性所使用

字典这儿有个注意点，我们有一个将types变为小写的操作，因为在get方法中的proxies中写入的协议名称应为小写，而网页抓取的是大写的内容，所以进行了一个大小写转换

那么验证ip可用性的思路呢

很简单，我们使用get，加上我们的代理，请求网站：

http://1212.ip138.com/ic.asp

这是一个神奇的网站，能返回你的外网ip是什么

url = 'http://1212.ip138.com/ic.asp'

r = requests.get(url = url,proxies = proxy,timeout = 6)

这里我们需要加上timeout去除掉那些等待时间过长的代理，我设置为6秒

我们以一个ip进行尝试，并且分析返回的页面

返回的内容如下：

<html>

<head>

<meta xxxxxxxxxxxxxxxxxx>

<title> 您的IP地址 </title>

</head>

<body style="margin:0px"><center>您的IP是：[xxx.xxx.xxx.xxx] 来自:xxxxxxxx</center></body></html>

那么我们只需要提取出网页内[]的内容即可

如果我们的代理可用，就会返回代理的ip

（这里会出现返回的地址还是我们本机的外网ip的情况，虽然我也不是很清楚，但是我把这种情况排除，应该还是代理不可用）

那么我们就能进行一个判断，如果返回的ip和proxy字典中的ip相同，则认为这个ip是可用的代理，并将其写入文件

我们的思路就是这样，最后进行queue和threading线程的处理即可

上代码：

#coding=utf-8

import requests

import re

from bs4 import BeautifulSoup as bs

import Queue

import threading 

class proxyPick(threading.Thread):

    def __init__(self,queue):

        threading.Thread.__init__(self)

        self._queue = queue

    def run(self):

        while not self._queue.empty():

            url = self._queue.get()

            proxy_spider(url)

def proxy_spider(url):

    headers = {

            .......

        }

    r = requests.get(url = url,headers = headers)

    soup = bs(r.content,"html.parser")

    data = soup.find_all(name = 'tr',attrs = {'class':re.compile('|[^odd]')})

    for i in data:

        soup = bs(str(i),'html.parser')

        data2 = soup.find_all(name = 'td')

        ip = str(data2[1].string)

        port = str(data2[2].string)

        types = str(data2[5].string).lower() 

        proxy = {}

        proxy[types] = '%s:%s'%(ip,port)

        try:

            proxy_check(proxy,ip)

        except Exception,e:

            print e

            pass

def proxy_check(proxy,ip):

    url = 'http://1212.ip138.com/ic.asp'

    r = requests.get(url = url,proxies = proxy,timeout = 6)

    f = open('E:/url/ip_proxy.txt','a+')

    soup = bs(r.text,'html.parser')

    data = soup.find_all(name = 'center')

    for i in data:

        a = re.findall(r'\[(.*?)\]',i.string)

        if a[0] == ip:

            #print proxy

            f.write('%s'%proxy+'\n')

            print 'write down'

    f.close()

#proxy_spider()

def main():

    queue = Queue.Queue()

    for i in range(1,2288):

        queue.put('http://www.xicidaili.com/nn/'+str(i))

    threads = []

    thread_count = 10

    for i in range(thread_count):

        spider = proxyPick(queue)

        threads.append(spider)

    for i in threads:

        i.start()

    for i in threads:

        i.join()

    print "It's down,sir!"

if __name__ == '__main__':

    main()

这样我们就能把网站上所提供的能用的代理ip全部写入文件ip_proxy.txt文件中了

希望大家喜欢

谢谢观看！

python扫描proxy并获取可用代理ip的更多相关文章

  1. python扫描proxy并获取可用代理ip列表

    mac或linux下可以work的代码如下: # coding=utf-8 import requests import re from bs4 import BeautifulSoup as bs ...

  2. python scrapy 爬取西刺代理ip(一基础篇)（ubuntu环境下） -赖大大

    第一步:环境搭建 1.python2 或 python3 2.用pip安装下载scrapy框架 具体就自行百度了,主要内容不是在这. 第二步:创建scrapy(简单介绍) 1.Creating a p ...

  3. python+scrapy 爬取西刺代理ip(一)

    转自:https://www.cnblogs.com/lyc642983907/p/10739577.html 第一步:环境搭建 1.python2 或 python3 2.用pip安装下载scrap ...

  4. 原创:Python爬虫实战之爬取代理ip

    编程的快乐只有在运行成功的那一刻才知道QAQ 目标网站:https://www.kuaidaili.com/free/inha/  #若有侵权请联系我 因为上面的代理都是http的所以没写这个判断 代 ...

  5. 使用Python扫描网络MAC地址对应的IP地址

    #!/usr/bin/env python # -*- coding: utf-8 -*- from scapy.all import srp,Ether,ARP,conf ipscan='192.1 ...

  6. 免费代理ip爬虫分享

    分享一个某代理网站的免费代理ip的爬虫,直接复制到pycharm运行就可以了. 注意:爬取的代理ip有点坑,因为是免费的所以过期时间很快,可能1分钟后就会失效.并且在scrapy使用这些代理ip还会给 ...

  7. 利用Python爬取可用的代理IP

    前言 就以最近发现的一个免费代理IP网站为例:http://www.xicidaili.com/nn/.在使用的时候发现很多IP都用不了. 所以用Python写了个脚本,该脚本可以把能用的代理IP检测 ...

  8. Python学习笔记六(免费获取代理IP)

    为获取网上免费代理IP,闲的无聊,整合了一下,免费从三个代理网站获取免费代理IP,目的是在某一代理网站被限制时,仍可从可以访问的其他网站上获取代理IP.亲测可用哦!^_^  仅供大家参考,以下脚本可添 ...

  9. 第三百四十八节，Python分布式爬虫打造搜索引擎Scrapy精讲—通过自定义中间件全局随机更换代理IP

    第三百四十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—通过自定义中间件全局随机更换代理IP 设置代理ip只需要,自定义一个中间件,重写process_request方法, request ...

随机推荐

  1. 出位的template.js 基于jquery的模板渲染插件

    找了好几款基于jquery的模板渲染插件,无一感觉很难用(教程较少.绑定不统一),也可能我智商问题,比如jquery template.js .jtemplate.js. 然后在github上找到这一 ...

  2. JSON总结-持续更新补充

    基本的json格式 { "name": "jobs", "boolean": true, "age": null, &q ...

  3. C++ 获取文件夹下的所有文件名

    获取文件夹下所有的文件名是常用的功能,今天再一次有这样的需求,所有就在网上查找了很多,并记下以供后用. 原文:http://blog.csdn.NET/cxf7394373/article/detai ...

  4. 编写运行最简单的java程序——使用记事本编写java程序

    第一个java程序--使用记事本编辑 经过上篇文章的java环境搭建成功的小伙伴们可以在自己的计算机上编写属于自己的java程序了yo~ 还没有搭建环境变量的小伙伴请转移到上一篇的随笔中去完成搭建. ...

  5. JS函数和对象（一）

    在本文章中,将对JS中的函数和对象进行一些讲解,不对之处还请之处 一.JS中的函数 1.1无参函数 其形式如下代码所示 function box(){ alert("我是一个函数,只有被调用 ...

  6. 新技能get√10个PS加速小技巧让你的PS不再卡

    如果你在处理较大尺寸的图片.使用像HDR.图像合成或者3D和视频等类似的功能,优化Photoshop的性能是非常关键的.这篇文章中,我会为大家介绍几种提高Photoshop性能的建议,使其在你的电脑上 ...

  7. 怎样禁止手机app 中页面有时候会把数字当做电话号码，从而自动进行打电话功能

    想要禁止这种功能,只需要给头不加一个meta标签就可以了, <meta name="format-detection" content="telephone=no& ...

  8. 【原创】无线破解Aircrack-ng套件详解－－airmon-ng与airodump-ng

    一:Aircrack-ng详解 1.1 Aircrack-ng概述 Aircrack-ng是一款用于破解无线802.11WEP及WPA-PSK加密的工具,该工具在2005年11月之前名字是Aircra ...

  9. chrome浏览器iframe兼容性问题，隐藏起来再显示滚动条消失？

    前言:在调试页面时发现谷歌浏览器bug,版本: 58.0.3029.81 问题描述: 1. 页面中,选项卡里面是IFrame,页面初始显示时有纵向滚动条出现 2. 来回切换选项卡一次,原来选项卡页面的 ...

  10. Asp.net管理信息系统中数据统计功能的实现

    数据统计是每个系统中必备的功能,在给领导汇报统计数据,工作中需要的进展数据时非常有用. 在我看来,一个统计的模块应该实现以下功能: 能够将常用的查询的统计结果显示出来: 显示的结果可以是表格形式,也可 ...