# -*- coding:utf-8 -*-

import sys

import re

from hmmlearn import hmm

import numpy as np

from sklearn.externals import joblib

import matplotlib.pyplot as plt

import tldextract

import os

def iterbrowse(path):

    for home, dirs, files in os.walk(path):

        for filename in files:

            yield os.path.join(home, filename)

def extract_domain(domain):

    suffix = {'.com','.la','.io', '.co', '.cn','.info', '.net', '.org','.me', '.mobi', '.us', '.biz', '.xxx', '.ca', '.co.jp', '.com.cn', '.net.cn', '.org.cn', '.mx','.tv', '.ws', '.ag', '.com.ag', '.net.ag', '.org.ag','.am','.asia', '.at', '.be', '.com.br', '.net.br', '.name', '.live', '.news', '.bz', '.tech', '.pub', '.wang', '.space', '.top', '.xin', '.social', '.date', '.site', '.red', '.studio', '.link', '.online', '.help', '.kr', '.club', '.com.bz', '.net.bz', '.cc', '.band', '.market', '.com.co', '.net.co', '.nom.co', '.lawyer', '.de', '.es', '.com.es', '.nom.es', '.org.es', '.eu', '.wiki', '.design', '.software', '.fm', '.fr', '.gs', '.in', '.co.in', '.firm.in', '.gen.in', '.ind.in', '.net.in', '.org.in', '.it', '.jobs', '.jp', '.ms', '.com.mx', '.nl','.nu','.co.nz','.net.nz', '.org.nz', '.se', '.tc', '.tk', '.tw', '.com.tw', '.idv.tw', '.org.tw', '.hk', '.co.uk', '.me.uk', '.org.uk', '.vg'}

    domain = domain.lower()

    names = domain.split(".")

    if len(names) >= 3:

    if ("."+".".join(names[-2:])) in suffix:

        return ".".join(names[-3:]), ".".join(names[:-3])

    elif ("."+names[-1]) in suffix:

        return ".".join(names[-2:]), ".".join(names[:-2])

    print "New domain suffix found. Use tld extract domain..."

    pos = domain.rfind("/")

    if pos >= 0: # maybe subdomain contains /, for dns tunnel tool

        ext = tldextract.extract(domain[pos+1:])

        subdomain = domain[:pos+1] + ext.subdomain

    else:

        ext = tldextract.extract(domain)

        subdomain = ext.subdomain

    if ext.suffix:

        mdomain = ext.domain + "." + ext.suffix

    else:

        mdomain = ext.domain

    return mdomain, subdomain

def parse(log):

    data = log.split('^')

    SRC_PORT_IDX = 5-1

    DST_PORT_IDX = 6-1

    PROTOCOL_IDX = 7-1

    protol  = data[PROTOCOL_IDX]

    dstport = data[DST_PORT_IDX]

    if '' == protol and ('' == dstport):

    DNS_QUERY_NAME_IDX = 55-1 # domain

    if (len(data) < 55):

        print "error line:"

        print log

        return ("", "")

    domain = data[DNS_QUERY_NAME_IDX]

    mdomain, subdomain = extract_domain(domain)

    return (mdomain, subdomain)

    else:

    print "error line not a DNS:"

    print log

    return ("", "")

#处理域名的最小长度

MIN_LEN=3

#状态个数

N=5

#最大似然概率阈值

T=-50

#模型文件名

FILE_MODEL="hmm-cdn.m"

def get_cdn_domains(dir_path):

    domain_list=[]

    for path in iterbrowse(dir_path):

    with open(path) as f:

        for line in f:

        mdomain, sub_domain = parse(line)

        if len(sub_domain) >= MIN_LEN:

            domain_list.append(sub_domain)

                if len(domain_list) >= 2000:

                    return domain_list

                #else:

                #    print path, "pass line:", line

    return  domain_list

def domain2ver(domain):

    ver=[]

    for i in range(0,len(domain)):

        ver.append([ord(domain[i])])

    return ver

def train_hmm(domain_list):

    X = [[0]]

    X_lens = [1]

    for domain in domain_list:

        ver=domain2ver(domain)

        np_ver = np.array(ver)

        #print len(np_ver)

        try:

        X=np.concatenate([X,np_ver])

    except ValueError:

            print domain

            print len(X), len(np_ver)

            print X

            print np_ver

            raise

        X_lens.append(len(np_ver))

    remodel = hmm.GaussianHMM(n_components=N, covariance_type="full", n_iter=100)

    remodel.fit(X,X_lens)

    joblib.dump(remodel, FILE_MODEL)

    return remodel

def test(remodel, domain_list):

    x=[]

    y=[]

    for domain in domain_list:

        domain_ver=domain2ver(domain)

        np_ver = np.array(domain_ver)

        pro = remodel.score(np_ver)

        print  "SCORE:(%d) DOMAIN:(%s) " % (pro, domain)

        x.append(len(domain))

        y.append(pro)

    return x,y

if __name__ == '__main__':

    domain_list = get_cdn_domains("/home/bonelee/latest_metadata_sample/labeled_cdn")

    remodel=train_hmm(domain_list)

    remodel=joblib.load(FILE_MODEL)

    x_1,y_1=test(remodel, domain_list)

    print x_1

    print y_1

    #sys.exit(0)

    domain_list = get_cdn_domains("/home/bonelee/latest_metadata_sample/labeled_black")

    x_2,y_2=test(remodel, domain_list)

    print x_2

    print y_2

    domain_list = get_cdn_domains("/home/bonelee/latest_metadata_sample/labeled_white_like")

    x_3,y_3=test(remodel, domain_list)

    print x_3

    print y_3

    #%matplotlib inline

    fig,ax=plt.subplots()

    ax.set_xlabel('Domain Length')

    ax.set_ylabel('HMM Score')

    ax.scatter(x_3,y_3,color='b',label="WHITE")

    ax.scatter(x_2, y_2, color='g', label="BLACK")

    ax.scatter(x_1, y_1, color='r', label="CDN")

    ax.legend(loc='right')

    plt.show()

使用pickle保存和加载模型：

# -*- coding:utf-8 -*-

import sys

import re

from hmmlearn import hmm

import numpy as np

#from sklearn.externals import joblib

import matplotlib.pyplot as plt

import tldextract

import os

import pickle

def iterbrowse(path):

    for home, dirs, files in os.walk(path):

        for filename in files:

            yield os.path.join(home, filename)

def extract_domain(domain):

    suffix = {'.com','.la','.io', '.co', '.cn','.info', '.net', '.org','.me', '.mobi', '.us', '.biz', '.xxx', '.ca', '.co.jp', '.com.cn', '.net.cn', '.org.cn', '.mx','.tv', '.ws', '.ag', '.com.ag', '.net.ag', '.org.ag','.am','.asia', '.at', '.be', '.com.br', '.net.br', '.name', '.live', '.news', '.bz', '.tech', '.pub', '.wang', '.space', '.top', '.xin', '.social', '.date', '.site', '.red', '.studio', '.link', '.online', '.help', '.kr', '.club', '.com.bz', '.net.bz', '.cc', '.band', '.market', '.com.co', '.net.co', '.nom.co', '.lawyer', '.de', '.es', '.com.es', '.nom.es', '.org.es', '.eu', '.wiki', '.design', '.software', '.fm', '.fr', '.gs', '.in', '.co.in', '.firm.in', '.gen.in', '.ind.in', '.net.in', '.org.in', '.it', '.jobs', '.jp', '.ms', '.com.mx', '.nl','.nu','.co.nz','.net.nz', '.org.nz', '.se', '.tc', '.tk', '.tw', '.com.tw', '.idv.tw', '.org.tw', '.hk', '.co.uk', '.me.uk', '.org.uk', '.vg'}

    domain = domain.lower()

    names = domain.split(".")

    if len(names) >= 3:

    if ("."+".".join(names[-2:])) in suffix:

        return ".".join(names[-3:]), ".".join(names[:-3])

    elif ("."+names[-1]) in suffix:

        return ".".join(names[-2:]), ".".join(names[:-2])

    print "New domain suffix found. Use tld extract domain..."

    pos = domain.rfind("/")

    if pos >= 0: # maybe subdomain contains /, for dns tunnel tool

        ext = tldextract.extract(domain[pos+1:])

        subdomain = domain[:pos+1] + ext.subdomain

    else:

        ext = tldextract.extract(domain)

        subdomain = ext.subdomain

    if ext.suffix:

        mdomain = ext.domain + "." + ext.suffix

    else:

        mdomain = ext.domain

    return mdomain, subdomain

def parse(log):

    data = log.split('^')

    SRC_PORT_IDX = 5-1

    DST_PORT_IDX = 6-1

    PROTOCOL_IDX = 7-1

    protol  = data[PROTOCOL_IDX]

    dstport = data[DST_PORT_IDX]

    if '' == protol and ('' == dstport):

    DNS_QUERY_NAME_IDX = 55-1 # domain

    if (len(data) < 55):

        print "error line:"

        print log

        return ("", "")

    domain = data[DNS_QUERY_NAME_IDX]

    mdomain, subdomain = extract_domain(domain)

    return (mdomain, subdomain)

    else:

    print "error line not a DNS:"

    print log

    return ("", "")

#处理域名的最小长度

MIN_LEN=1

#状态个数

N=8

#最大似然概率阈值

T=-50

#模型文件名

FILE_MODEL="hmm-cdn.m"

FILE_MODEL2 ="hmm-cdn-white.pkl"

def get_cdn_domains(dir_path):

    domain_list=[]

    for path in iterbrowse(dir_path):

    with open(path) as f:

        for line in f:

        mdomain, sub_domain = parse(line)

        if len(sub_domain) >= MIN_LEN:

            domain_list.append(sub_domain)

                if len(domain_list) >= 3000:

                    return domain_list

                #else:

                #    print path, "pass line:", line

    return  domain_list

def domain2ver(domain):

    ver=[]

    for i in range(0,len(domain)):

        ver.append([ord(domain[i])])

    return ver

def train_hmm(domain_list):

    if os.path.exists(FILE_MODEL2):

        print "found model file, use it..."

        file_model = open(FILE_MODEL2, 'rb')

        model = pickle.load(file_model)

        file_model.close()

        return model

    X = [[0]]

    X_lens = [1]

    for domain in domain_list:

        ver=domain2ver(domain)

        np_ver = np.array(ver)

        #print len(np_ver)

        try:

        X=np.concatenate([X,np_ver])

    except ValueError:

            print domain

            print len(X), len(np_ver)

            print X

            print np_ver

            raise

        X_lens.append(len(np_ver))

    #remodel = hmm.GaussianHMM(n_components=N, covariance_type="spherical", n_iter=500) #spherical, diag full,tied

    remodel = hmm.GaussianHMM(n_components=N, covariance_type="full", n_iter=500)

    remodel.fit(X,X_lens)

    #joblib.dump(remodel, FILE_MODEL)

    file_model = open(FILE_MODEL2, 'wb')

    pickle.dump(remodel, file_model)

    file_model.close()

    return remodel

def test(remodel, domain_list):

    x=[]

    y=[]

    for domain in domain_list:

        domain_ver=domain2ver(domain)

        np_ver = np.array(domain_ver)

        pro = remodel.score(np_ver)

        print  "SCORE:(%d) DOMAIN:(%s) " % (pro, domain)

        x.append(len(domain))

        y.append(pro)

    return x,y

if __name__ == '__main__':

    domain_list = get_cdn_domains("/home/bonelee/latest_metadata_sample/labeled_cdn")

    domain_list2 = get_cdn_domains("/home/bonelee/latest_metadata_sample/labeled_white_like")

    #remodel=train_hmm(domain_list)

    remodel=train_hmm(domain_list+domain_list2)

    #remodel=joblib.load(FILE_MODEL)

    x_1,y_1=test(remodel, domain_list)

    print x_1

    print y_1

    #sys.exit(0)

    domain_list = get_cdn_domains("/home/bonelee/latest_metadata_sample/labeled_black")

    x_2,y_2=test(remodel, domain_list)

    print x_2

    print y_2

    domain_list = get_cdn_domains("/home/bonelee/latest_metadata_sample/labeled_white_like")

    x_3,y_3=test(remodel, domain_list)

    print x_3

    print y_3

    #%matplotlib inline

    fig,ax=plt.subplots()

    ax.set_xlabel('Domain Length')

    ax.set_ylabel('HMM Score')

    #ax.scatter(x_3,y_3,color='b',label="WHITE")

    ax.scatter(x_2, y_2, color='g', label="DNS tunnel")

    ax.scatter(x_1, y_1, color='r', label="CDN")

    ax.legend(loc='right')

    plt.show()

其中：X = [[0]]，X_lens = [] 也可以按照下面方式进行读写。除去了冗余的初始化。

def train_hmm(domain_list):

    if os.path.exists(FILE_MODEL2):

        print "found model file, use it..."

        file_model = open(FILE_MODEL2, 'rb')

        model = pickle.load(file_model)

        file_model.close()

        return model

    #X = [[0]]

    #X_lens = [1]

    X = []

    X_lens = []

    #print X

    for domain in domain_list:

        ver=domain2ver(domain)

        #np_ver = np.array(ver)

        try:

            #X=np.concatenate([X,np_ver])

            X = X + ver

        except ValueError:

            print domain

            print X

            print ver

            raise

        X_lens.append(len(ver))

    #remodel = hmm.GaussianHMM(n_components=N, covariance_type="spherical", n_iter=500) #spherical, diag full,tied

    remodel = hmm.GaussianHMM(n_components=N, covariance_type="full", n_iter=500)

    remodel.fit(X,X_lens)

    #joblib.dump(remodel, FILE_MODEL)

    file_model = open(FILE_MODEL2, 'wb')

    pickle.dump(remodel, file_model)

    file_model.close()

    return remodel

hmm CDN检测的更多相关文章

  1. HMM XSS检测

    HMM XSS检测 转自:http://www.freebuf.com/articles/web/133909.html 前言 上篇我们介绍了HMM的基本原理以及常见的基于参数的异常检测实现,这次我们 ...

  2. 绕过CDN查找真实IP方法总结

    CDN的全称是Content Delivery Network,即内容分发网络.CDN是构建在现有网络基础之上的智能虚拟网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡.内容分发.调度等功能模 ...

  3. [转载]绕过CDN查找真实IP方法总结

    前言 类似备忘录形式记录一下,这里结合了几篇绕过CDN寻找真实IP的文章,总结一下绕过CDN查找真实的IP的方法 介绍 CDN的全称是Content Delivery Network,即内容分发网络. ...

  4. web渗透测试

    信息收集 网络搜索 目录遍历:site:域名 intitle:index.of 配置文件泄露:site:域名 ext:xml | ext:conf | ext:cnf | ext:reg | ext: ...

  5. 基于Python的渗透测试信息收集系统的设计和实现

    信息收集系统的设计和实现 渗透测试是保卫网络安全的一种有效且必要的技术手段,而渗透测试的本质就是信息收集,信息搜集整理可为后续的情报跟进提供强大的保证,目标资产信息搜集的广度,决定渗透过程的复杂程度, ...

  6. 脚本检测CDN节点资源是否与源站资源一致

    需求: 1.所有要检测的资源url放到一个单独文件中 2.检测cdn节点资源大小与源站文件大小是否一致 3.随机抽查几个资源,检查md5sum是否一致 4.使用多线程,可配置线程数 代码目录: hex ...

  7. 简单检测CDN链接是否有效

    CDN链接经常是使用的.但是,CDN链接挂了怎么办,因此,就要调用使用本站点的库,那么怎么实现呢? 检测CDN的jquery链接是否有效(这种方法比较简单) <script src=" ...

  8. 大数据DDos检测——DDos攻击本质上是时间序列数据，t+1时刻的数据特点和t时刻强相关，因此用HMM或者CRF来做检测是必然！ 和一个句子的分词算法CRF没有区别！

    DDos攻击本质上是时间序列数据,t+1时刻的数据特点和t时刻强相关,因此用HMM或者CRF来做检测是必然!——和一个句子的分词算法CRF没有区别!注:传统DDos检测直接基于IP数据发送流量来识别, ...

  9. 基于机器学习的web异常检测——基于HMM的状态序列建模，将原始数据转化为状态机表示，然后求解概率判断异常与否

    基于机器学习的web异常检测 from: https://jaq.alibaba.com/community/art/show?articleid=746 Web防火墙是信息安全的第一道防线.随着网络 ...

随机推荐

  1. spring-boot结合mybatis-spring的一个例子

    首先spring-boot是用于简化配置的,具有可拔式组件的运用特点. 然后一下是spring-boot结合mybatis-spring的一个例子. 是一个maven项目 demo下载:http:// ...

  2. 使用BindingList来实现DataGridview数据源为list时的动态增删改

    当DataGridview的数据源list的时候,对list进行操作后重新绑定,数据并不会更新 使用BindingList能很好的解决这个问题(framework2.0新增) 例如,使用list时候的 ...

  3. BZOJ4518: [Sdoi2016]征途(dp+斜率优化)

    Time Limit: 10 Sec  Memory Limit: 256 MBSubmit: 1875  Solved: 1045[Submit][Status][Discuss] Descript ...

  4. javaweb 之 代理模式

    一.动态代理 1.1.代理模式 什么是代理模式及其作用 Proxy Pattern(即:代理模式),23种常用的面向对象软件的设计模式之一 代理模式的定义:为其他对象提供一种代理以控制对这个对象的访问 ...

  5. 【Oracle】ORA-00054: resource busy and acquire with NOWAIT specified or timeout expired

    出现此错误的原因是因为事务等待造成的,找出等待的事务,kill即可. 下面是我当时遇到的错误: ---删除表t1时出现错误 SCOTT@GOOD> drop table t1; drop tab ...

  6. java RPC系列之二 HTTPINVOKER

    java RPC系列之二  HTTPINVOKER 一.java RPC简单的汇总 java的RPC得到技术,基本包含以下几个,分别是:RMI(远程方法调用) .Caucho的Hessian 和 Bu ...

  7. C# DataTable 转 json

    public Form1() { InitializeComponent(); } private void Form1_Load(object sender, EventArgs e) { //窗体 ...

  8. 【seo】title / robots / description / canonical

    1.title title,就是浏览器上显示的那些内容,不仅用户能看到,也能被搜索引擎检索到(搜索引擎在抓取网页时,最先读取的就是网页标题,所以title是否正确设置极其重要. 1)title一般不超 ...

  9. 优动漫PAINT个人版和EX版本差异

    优动漫PAINT是一款功能强大的动漫绘图软件,适用于个人和专业团队创作,分为个人版和EX版,那么这两个版本有什么区别,应该如何去选择呢? 优动漫PAINT个人版即可满足基本的绘画创作需求,EX版在个人 ...

  10. C++基础 (1) 第一天 C++相对C的改进 命名空间 引用

    第一天 语法 STL 数据结构  设计模式… 2 C++语言的间接 C++ = C语言+面向对象 本贾尼 语言分类: 不关心效率 只关心架构:java/脚本语言 效率:(内存要自己管理了,操作指针)C ...