基于机器学习的web异常检测 Web防火墙是信息安全的第一道防线.随着网络技术的快速更新,新的黑客技术也层出不穷,为传统规则防火墙带来了挑战.传统web入侵检测技术通过维护规则集对入侵访问进行拦截.一方面,硬规则在灵活的黑客面前,很容易被绕过,且基于以往知识的规则集难以应对0day攻击:另一方面,攻防对抗水涨船高,防守方规则的构造和维护门槛高.成本大. 基于机器学习技术的新一代web入侵检测技术有望弥补传统规则集方法的不足,为web对抗的防守端带来新的发展和突破.机器学习方法能够基于大量数据进行…

基于机器学习的web异常检测 from: https://jaq.alibaba.com/community/art/show?articleid=746 Web防火墙是信息安全的第一道防线.随着网络技术的快速更新,新的黑客技术也层出不穷,为传统规则防火墙带来了挑战.传统web入侵检测技术通过维护规则集对入侵访问进行拦截.一方面,硬规则在灵活的黑客面前,很容易被绕过,且基于以往知识的规则集难以应对0day攻击:另一方面,攻防对抗水涨船高,防守方规则的构造和维护门槛高.成本大. 基于机器学习技术的…

本文为博主翻译自:Jinwon的Variational Autoencoder based Anomaly Detection using Reconstruction Probability,如侵立删 http://dm.snu.ac.kr/static/docs/TR/SNUDM-TR-2015-03.pdf 摘要 我们提出了一种利用变分自动编码器重构概率的异常检测方法.重建概率是一种考虑变量分布变异性的概率度量.重建概率具有一定的理论背景,使其比重建误差更具有原则性和客观性,而重建误差是自…

摘要:RRCF是亚马逊提出的一个流式异常检测算法,是对孤立森林的改进,可对时序或非时序数据进行异常检测.本文是我从事AIOps研发工作时所做的基于RRCF的时序异常检测方案. 1.      数据格式 将时间序列以滑动窗口的形式转换为d维空间点.例如对于时间序列[1,2,3,4,5,6,7,8],d=5,那么可以将该时间序列转换为4个空间点[(1,2,3,4,5),(2,3,4,5,6),(3,4,5,6,7),(4,5,6,7,8)].RCF以这样的高维空间点进行建模和检测. 2.     …

1. 异常检测 VS 监督学习 0x1:异常检测算法和监督学习算法的对比 总结来讲: . 在异常检测中,异常点是少之又少,大部分是正常样本,异常只是相对小概率事件 . 异常点的特征表现非常不集中,即异常种类非常多,千奇百怪.直白地说:正常的情况大同小异,而异常各不相同.这种情况用有限的正例样本(异常点)给有监督模型学习就很难从中学到有效的规律 0x2:常见的有监督学习检测算法 这块主要依靠庞大的打标样本,借助像DLearn这样的网络对打标训练样本进行拟合 0x3:常见的异常检测算法 基于模型的技…

1. 主要观点总结 0x1:什么场景下应用时序算法有效 历史数据可以被用来预测未来数据,对于一些周期性或者趋势性较强的时间序列领域问题,时序分解和时序预测算法可以发挥较好的作用,例如: 四季与天气的关系模式 以交通量计算的交通高峰期的模式 心跳的模式 股票市场和某些产品的销售周期 数据需要有较强的稳定性,例如”预测商店营业额“和"预测打车订单"的稳定性就比"预测某台服务器何时处于被入侵的异常状态"要强.从形成机制上讲,商店营业额和打车订单是由人的行为驱动的,风是由自…

iForest (Isolation Forest)是由Liu et al. [1] 提出来的基于二叉树的ensemble异常检测算法,具有效果好.训练快(线性复杂度)等特点. 1. 前言 iForest为聚类算法,不需要标记数据训练.首先给出几个定义: 划分(partition)指样本空间一分为二,相当于决策树中节点分裂: isolation指将某个样本点与其他样本点区分开. iForest的基本思想非常简单:完成异常点的isolation所需的划分数大于正常样本点(非异常).如下图所示: \…

# coding=utf-8 import sys import socket import re def check_webserver(address, port, resource): address = socket.gethostbyname(address) if not resource.startswith('/'): resource = '/' + resource request_string = 'GET %s HTTP/1.0\r\n\r\n' % (resource)…

时间序列数据伴随着我们的生活和工作.从牙牙学语时的“1, 2, 3, 4, 5, ……”到房价的走势变化,从金融领域的刷卡记录到运维领域的核心网性能指标.时间序列中的规律能加深我们对事物和场景的认识,时间序列中的异常能提醒我们某些部分可能出现问题.那么如何去发现时间序列中的规律.找出其中的异常点呢?接下来,我们将揭开这些问题的面纱. 什么是异常 直观上讲,异常就是现实与心理预期产生较大差距的特殊情形.如2020年春节的新型肺炎(COVID-19,coronavirus disease 2019)…

AIOps探索:基于VAE模型的周期性KPI异常检测方法 from:jinjinlin.com   作者:林锦进 前言 在智能运维领域中,由于缺少异常样本,有监督方法的使用场景受限.因此,如何利用无监督方法对海量KPI进行异常检测是我们在智能运维领域探索的方向之一.最近学习了清华裴丹团队发表在WWW 2018会议上提出利用VAE模型进行周期性KPI无监督异常检测的论文:<Unsupervised Anomaly Detection via Variational Auto-Encoder for…