利用机器学习进行DNS隐蔽通道检测——数据收集，利用iodine进行DNS隐蔽通道样本收集

我们在使用机器学习做DNS隐蔽通道检测的过程中,不得不面临样本收集的问题,没办法,机器学习没有样本真是“巧妇难为无米之炊”啊! 本文简单介绍了DNS隐蔽通道传输工具iodine,并介绍如何从iodine的网络流量中抓取DNS报文生成pcap包,并将其转化为机器学习检测算法所能够识别的文本文件. 1.环境准备和iodine安装 DNS隐蔽通道工具iodine分为服务器端程序iodined和客户端程序iodine.服务器端程序iodined提供特定域名的DNS解析服务.当客户端请求该域名的解析,就可…

Python 3 利用机器学习模型进行手写体数字检测

0.引言介绍了如何生成手写体数字的数据,提取特征,借助 sklearn 机器学习模型建模,进行识别手写体数字 1-9 模型的建立和测试. 用到的几种模型: 1. LR,Logistic Regression, (线性模型)中的逻辑斯特回归 2. Linear SVC,Support Vector Classification, (支持向量机)中的线性支持向量分类 3. MLPC,Multi-Layer Perceptron Classification, (神经网络)多层感知机分类 4…

Python 3 利用 Dlib 19.7 和 sklearn机器学习模型实现人脸微笑检测

0.引言利用机器学习的方法训练微笑检测模型,给一张人脸照片,判断是否微笑: 使用的数据集中69张没笑脸,65张有笑脸,训练结果识别精度在95%附近: 效果: 图1 示例效果工程利用python 3 开发,借助Dlib进行人脸嘴部20个特征点坐标(40维特征)的提取, 然后根据这 40维输入特征和 1维特征输出(1代表有微笑 / 0代表没微笑)进行ML建模, 利用几种机器学习模型进行建模,达到一个二分类(分类有/无笑脸)的目的,然后分析模型识别精度和性能,并且可以识别给定图片的人脸是…

Python 3 利用 Dlib 和 sklearn 人脸笑脸检测机器学习建模

0. 引言利用机器学习的方法训练微笑检测模型,输入一张人脸照片,判断是否微笑: 精度在 95% 左右( 使用的数据集中 69 张没笑脸,65 张有笑脸 ): 图1 测试图像与检测结果项目实现的笑脸识别,并不是通过计算嘴唇角度,满足一定弧度认定为笑脸进行判定, 而是通过机器学习模型,让模型去学习人脸嘴唇的坐标和判定笑脸的关系: 输入: 人脸嘴唇的坐标输出: 有没笑脸借助 Dlib 进行人脸嘴部 20 个特征点坐标( 40 维特征)的提取,然后根据这 40 维输入特征作为模型输入…

利用XtraBackup给MYSQL热备(基于数据文件)

利用XtraBackup给MYSQL热备(基于数据文件) By JRoBot on 2013 年 11 月 26 日 | Leave a response 利用XtraBackup给MYSQL热备(基于数据文件)利用 XtraBackup 快速配置主从服务器这XtraBackup 个主要包含2个命令 xtrabackup 和 innobackupex 第一个是他的主程序另外个他自己封装的脚本一般用脚本来完成备份这是工作笔记比较凌乱凑合着看吧获取XtraBackup 获取XtraBacku…

DNS通道检测国内学术界研究情况——研究方法：基于特征或者流量，使用机器学习决策树分类算法居多

http://xuewen.cnki.net/DownloadArticle.aspx?filename=BMKJ201104017&dbtype=CJFD<浅析基于DNS协议的隐蔽通道及监测技术>DNS隐蔽通道监测主要采用特征匹配和流量异常检测这两种技术.3.1 特征匹配技术特征匹配技术通过网络通信报文特征来识别 D N S 隐蔽通道 . S n o r t 通过以下规则来识别NSTX和Iodine隐蔽通道:alert udp…

DNS通道检测国外学术界研究情况——研究方法：基于流量，使用机器学习分类算法居多，也有使用聚类算法的；此外使用域名zif low也有

http://www.ijrter.com/papers/volume-2/issue-4/dns-tunneling-detection.pdf <DNS Tunneling Detection>In this paper we have presented a method of the DNS tunneling detection based on the clustering of the DNS traffic images.检测手段也分为两种:DNS packet analysi…

利用机器学习检测HTTP恶意外连流量

本文通过使用机器学习算法来检测HTTP的恶意外连流量,算法通过学习恶意样本间的相似性将各个恶意家族的恶意流量聚类为不同的模板.并可以通过模板发现未知的恶意流量.实验显示算法有较好的检测率和泛化能力. 0×00背景攻击者为控制远程的受害主机,必定有一个和被控主机的连接过程,一般是通过在被控主机中植入后门等手段,由受控主机主动发出连接请求.该连接产生的流量就是恶意外连流量,如图1.1所示.目前检测恶意外连流量的主要方式有两种,一种是基于黑名单过滤恶意域名,另一种是使用规则匹配恶意外连流量.这两种方…

Python 3 利用机器学习模型进行手写体数字识别

0.引言介绍了如何生成数据,提取特征,利用sklearn的几种机器学习模型建模,进行手写体数字1-9识别. 用到的四种模型: 1. LR回归模型,Logistic Regression 2. SGD随机梯度下降模型,Stochastic Gradient Descent 3. SVC支持向量分类模型,Support Vector Classification 4. MLP多层神经网络模型,Multi-Layer Perceptron 主要内容:生成手写体随机数1-9,生成单个png分类存入指定…

Stanford机器学习---第十一讲.异常检测

之前一直在看Standford公开课machine learning中Andrew老师的视频讲解https://class.coursera.org/ml/class/index 同时配合csdn知名博主Rachel Zhang的系列文章进行学习. 不过博主的博客只写到“第十讲数据降维” http://blog.csdn.net/abcjennifer/article/details/8002329,后面还有三讲,内容比较偏应用,分别是异常检测.大数据机器学习.photo OCR.为了学习的完…

Python 3 利用 Dlib 实现摄像头实时人脸检测和平铺显示

1. 引言在某些场景下,我们不仅需要进行实时人脸检测追踪,还要进行再加工:这里进行摄像头实时人脸检测,并对于实时检测的人脸进行初步提取: 单个/多个人脸检测,并依次在摄像头窗口,实时平铺显示检测到的人脸: 图 1 动态实时检测效果图检测到的人脸矩形图像,会依次平铺显示在摄像头的左上方: 当多个人脸时候,也能够依次铺开显示: 左上角窗口的大小会根据捕获到的人脸大小实时变化: 图 2 单个/多个人脸情况下摄像头识别显示结果 2. 代码实现主要分为三个部分: 摄像头调用,利用 OpenCv…

DNS反射放大攻击分析——DNS反射放大攻击主要是利用DNS回复包比请求包大的特点，放大流量，伪造请求包的源IP地址为受害者IP，将应答包的流量引入受害的服务器

DNS反射放大攻击分析摘自:http://www.shaojike.com/2016/08/19/DNS%E6%94%BE%E5%A4%A7%E6%94%BB%E5%87%BB%E7%AE%80%E5%8D%95%E5%88%86%E6%9E%90/ 简介 DNS反射放大攻击主要是利用DNS回复包比请求包大的特点,放大流量,伪造请求包的源IP地址为受害者IP,将应答包的流量引入受害的服务器. 简单对比下正常的DNS查询和攻击者的攻击方式: 正常DNS查询:源IP地址 —–DNS查询—-> DN…

【机器学习PAI实战】—— 玩转人工智能之利用GAN自动生成二次元头像

前言深度学习作为人工智能的重要手段,迎来了爆发,在NLP.CV.物联网.无人机等多个领域都发挥了非常重要的作用.最近几年,各种深度学习算法层出不穷, Generative Adverarial Network(GAN)自2014年提出以来,引起广泛关注,身为深度学习三巨头之一的Yan Lecun对GAN的评价颇高,认为GAN是近年来在深度学习上最大的突破,是近十年来机器学习上最有意思的工作.围绕GAN的论文数量也迅速增多,各种版本的GAN出现,主要在CV领域带来了一些贡献,如下图所示. 我们可…

利用Python进行数据分析(12) pandas基础: 数据合并

pandas 提供了三种主要方法可以对数据进行合并: pandas.merge()方法:数据库风格的合并: pandas.concat()方法:轴向连接,即沿着一条轴将多个对象堆叠到一起: 实例方法combine_first()方法:合并重叠数据. pandas.merge()方法:数据库风格的合并例如,通过merge()方法将两个DataFrame合并: on='name'的意思是将name列当作键: 默认情况下,merge做的是内连接(inner),即键的交集. 其他方式还有左连接(l…

Java利用POI导入导出Excel中的数据

首先谈一下今天发生的一件开心的事,本着一颗android的心我被分配到了PB组,身在曹营心在汉啊!好吧,今天要记录和分享的是Java利用POI导入导出Excel中的数据.下面POI包的下载地址http://poi.apache.org/download.html,有兴趣的朋友也可以去看看其中的API. 下面分享一下在对POI进行基本操作时觉得需要注意的两点: 1.POI中针对xlsx/xls是需要create different Workbook instance…

利用Aspose.Cells完成easyUI中DataGrid数据的Excel导出功能

我准备在项目中实现该功能之前,google发现大部分代码都是利用一般处理程序HttpHandler实现的服务器端数据的Excel导出,但是这样存在的问题是ashx读取的数据一般都是数据库中视图的数据,难免会含有方便操作的主键ID这列的记录.现在项目需要在easyUI的DataGrid中显示的数据能全部导出Excel,包括DataGrid中的中文标题,其他的统统不要. 完成该功能所需的工具和环境:Newtonsoft.Json序列化和反序列化类库.easyUI前端UI框架.HttpHandler一…

利用location.hash+iframe跨域获取数据详解

前言如果看懂了前文利用window.name+iframe跨域获取数据,那么此文也就很好理解了.一样都是动态插入一个iframe,然后把iframe的src指向服务端地址,而服务端同样都是输出一段js代码,同样都是利用和子窗口之间的通信完成数据传输,同样要针对同源策略做出处理. location.hash和锚点要理解location.hash+iframe跨域获取数据的机制,先得知道什么是location.hash,楼主买一送一,把锚点也一起介绍了. 其实锚点很简单,也相信大家都有用过.纳尼…

利用window.name+iframe跨域获取数据详解

详解前文提到用jsonp的方式来跨域获取数据,本文为大家介绍下如何利用window.name+iframe跨域获取数据. 首先我们要简单了解下window.name和iframe的相关知识.iframe是html的一个标签,可以在网页中创建内联框架,有个src属性(指向文件地址,html.php等)可以选择内联框架的内容,可以看个例子(猛戳这里),大概了解下就行了.window.name(一般在js代码里出现)的值不是一个普通的全局变量,而是当前窗口的名字,这里要注意的是每个iframe都有包…

Android利用tcpdump和wireshark抓取网络数据包

Android利用tcpdump和wireshark抓取网络数据包主要介绍如何利用tcpdump抓取andorid手机上网络数据请求,利用Wireshark可以清晰的查看到网络请求的各个过程包括三次握手,但相对来说使用Fiddler进行网络数据抓包和展现更方便,优点包括: (1)无需root (2)对Android和Iphone同样适用 (3)操作更简单方便(第一次安装配置,第二次只需设置代理即可) (4)数据包的查看更清晰易懂 (5) 可以查看https请求,建议使用Fillder,具体可见…

利用Fiddler拦截接口请求并篡改数据

近期在测试一个下单的项目,出于安全角度考虑,测试了一个场景,那就是利用工具对接口进行拦截并篡改数据.将接口一拦截并篡改数据后,发现收货满满.开发默默接受了我的建议,并对代码进行了修改. 对于fiddler的操作,网上帖子很多,该方法一查就很多,我还将此写出来,是记录下自己的实践时刻. 拦截HTTP请求使用Fiddler进行HTTP断点调试是fiddler一强大和实用的工具之一.通过设置断点,Fiddler可以做到: ①修改HTTP请求头信息.例如修改请求头的UA,Cookie,Referer信…

KDD Cup 99网络入侵检测数据的分析

看论文该数据集是从一个模拟的美国空军局域网上采集来的 9 个星期的网络连接数据, 分成具有标识的训练数据和未加标识的测试数据.测试数据和训练数据有着不同的概率分布, 测试数据包含了一些未出现在训练数据中的攻击类型, 这使得入侵检测更具有现实性. 在训练集中包含了1种正常的标识类型 normal 和 22种训练攻击类型. 1.KDDCup99入侵检测实验数据的标识类型标识类型含义具体分类标识 Normal 正常记录 normal DOS 拒绝服务攻击 back, land, neptune…

利用Angular.js从PHP读取后台数据

之前已经有非常多方法能够通过angular进行本地数据的读取.曾经的样例中,大多数情况都是将数据存放到模块的$scope变量中,或者直接利用ng-init定义初始化的数据. 可是这些方法都仅仅为了演示其它功能的效果.这次来学习一下怎样将Angular和PHP相结合.从后台读取数据. 首先,利用PHP,我们定义了一组后台数据,代码例如以下(test.php): <? php header("Access-Control-Allow-Origin: *"); header("…

C# zedgraph利用另一窗口取得的串口数据绘图

C# zedgraph利用另一窗口获得的串口数据绘图第一次用zedgraph,非常不熟悉,网上很多内容看的云里雾里... 这个程序主界面接收串口数据,而另外一个窗口进行实时曲线绘图,要怎么样实现form1中serialPort1_DataReceived接受的数据处理后,在form2的zedgraph中绘图? 如果加载form1的时候 form2没有show,怎么能让打开form2时之前的数据也绘进图表中? [解决办法]你在Form1监听数据后设置给FOrm2的List,在Form2里时时监听这…

java操作Excel之POI（5）利用POI实现使用模板批量导出数据

后台导出方法: 在源文件夹src下面放个准备好的模板:/com/cy/template/userExportTemplate.xls,这个模板有头部一行: /** * 后台导出方法 * 利用POI实现使用模板批量导出数据 */ public String export2() throws Exception{ Connection con = null; try{ con = dbUtil.getCon(); ResultSet rs = userDao.userList(con, null);…

【转载】 java利用snmp4j包来读取snmp协议数据（Manager端）

https://www.cnblogs.com/xdp-gacl/p/4187089.html http://doc.okbase.net/yuanfy008/archive/265663.html java利用snmp4j包来读取snmp协议数据(Manager端) 1 snmp简单介绍 java利用snmp4j包来读取snmp协议数据,很简单的一个流程,就是利用java来读取运行snmp协议的数据,例如服务器.PC机或者路由器等运行了snmp协议的设备. snmp协议是什么呢? 简单网络管理…