DDos攻击本质上是时间序列数据,t+1时刻的数据特点和t时刻强相关,因此用HMM或者CRF来做检测是必然!——和一个句子的分词算法CRF没有区别!注:传统DDos检测直接基于IP数据发送流量来识别,通过硬件防火墙搞定.大数据方案是针对慢速DDos攻击来搞定.难点:在进行攻击的时候,攻击数据包都是经过伪装的,在源IP 地址上也是进行伪造的,这样就很难对攻击进行地址的确定,在查找方面也是很难的.这样就导致了分布式拒绝服务攻击在检验方法上是很难做到的.领域知识见:http://blog.csdn.n…

很久前做过一个命名实体识别的模块,现在有时间,记录一下. 一.要识别的对象 人名.地名.机构名 二.主要方法 1.使用CRF模型进行识别(识别对象都是最基础的序列,所以使用了好评率较高的序列识别算法CRF) 2.使用规则对相关数据进行后过滤. 三.具体实现 1.训练数据的生成 主要使用了人民日报免费部分,以及一些及它从网上找到的资源(时间长了,记不住了,好像还自己标注了些) 2.模板的生成    使用的是Unigram,由于考虑到要识别的实体一般情况下没有长距离依赖 以及训练时的效率问题,所以模…

NLP知识十大结构 2.1形式语言与自动机 语言:按照一定规律构成的句子或者字符串的有限或者无限的集合. 描述语言的三种途径: 穷举法 文法(产生式系统)描述 自动机 自然语言不是人为设计而是自然进化的,形式语言比如:运算符号.化学分子式.编程语言 形式语言理论朱啊哟研究的是内部结构模式这类语言的纯粹的语法领域,从语言学而来,作为一种理解自然语言的句法规律,在计算机科学中,形式语言通常作为定义编程和语法结构的基础 形式语言与自动机基础知识: 集合论 图论 自动机的应用: 1,单词自动查错纠正 2…

条件随机场CRF(一)从随机场到线性链条件随机场 条件随机场CRF(二) 前向后向算法评估标记序列概率 条件随机场CRF(三) 模型学习与维特比算法解码 在CRF系列的前两篇,我们总结了CRF的模型基础与第一个问题的求解方法,本文我们关注于linear-CRF的第二个问题与第三个问题的求解.第二个问题是模型参数学习的问题,第三个问题是维特比算法解码的问题. 1. linear-CRF模型参数学习思路 在linear-CRF模型参数学习问题中,我们给定训练数据集$X$和对应的标记序列$Y$,$K$…

条件随机场CRF(一)从随机场到线性链条件随机场 条件随机场CRF(二) 前向后向算法评估标记序列概率 条件随机场CRF(三) 模型学习与维特比算法解码 在条件随机场CRF(一)中我们总结了CRF的模型,主要是linear-CRF的模型原理.本文就继续讨论linear-CRF需要解决的三个问题:评估,学习和解码.这三个问题和HMM是非常类似的,本文关注于第一个问题:评估.第二个和第三个问题会在下一篇总结. 1. linear-CRF的三个基本问题 在隐马尔科夫模型HMM中,我们讲到了HMM的三个…

CRF(条件随机场) 基本概念 场是什么 场就是一个联合概率分布.比如有3个变量,y1,y2,y3, 取值范围是{0,1}.联合概率分布就是{P(y2=0|y1=0,y3=0), P(y3=0|y1=0,y2=0), P(y2=0|y1=1,y3=0), P(y3=0|y1=1,y2=0), ...} 下图就是一个场的简单示意图. 也就是变量间取值的概率分布. 马尔科夫随机场 如果场中的变量只受相邻变量的影响,而与其他变量无关.则这样的场叫做马尔科夫随机场. 如下图,绿色点变量的取值只受周围相邻…

目录 前言 目录 条件随机场(conditional random field CRF) 核心点 线性链条件随机场 简化形式 CRF分词 CRF VS HMM 代码实现 训练代码 实验结果 参考文献 前言 通过前面几篇系列文章,我们从分词中最基本的问题开始,并分别利用了1-gram和HMM的方法实现了分词demo.本篇博文在此基础上,重点介绍利用CRF来实现分词的方法,这也是一种基于字的分词方法,在将句子转换为序列标注问题之后,不使用HMM的生成模型方式,而是使用条件概率模型进行建模,即判别模型…

改进的迭代尺度法(Improved Iterative Scaling),在很多模型求解中用到,比如最大熵.CRFs等,对模型是对数线性模型的似然都适用.这个算法的思想也很简单,通俗的理解就是通过两个不等式变形优化下界,从而迭代到收敛的算法. 用到两个不等式,对 α>0 : (1) 对 p(x)是一个概率密度函数 (2) 这是文章中需要用到的两个不等式,先当做定理记下来吧. CRF模型为: 其中Λ代表权值向量,, ZΛ(x)是归一化因子. 似然函数可以写成: 其中是样本(x,y)出现的频率. 接…

之前我们介绍过BERT+CRF来进行命名实体识别,并对其中的BERT和CRF的概念和作用做了相关的介绍,然对于CRF中的最优的标签序列的计算原理,我们只提到了维特比算法,并没有做进一步的解释,本文将对维特比算法做一个通俗的讲解,以便大家更好的理解CRF为什么能够得到最优的标签序列. 通过阅读本文你将能回答如下问题: 什么是维特比算法? 为什么说维特比算法是一种动态规划算法? 维特比算法具体怎么实现? 首先,让我们简单回顾一下BERT和CRF在命名实体识别中各自的作用: 命名实体识别中,BERT负…

1.CRF的预测算法条件随机场的预测算法是给定条件随机场P(Y|X)和输入序列(观测序列)x,求条件概率最大的输出序列(标记序列)y*,即对观测序列进行标注.条件随机场的预测算法是著名的维特比算法(Vitebi Algorthim). 维特比算法在隐马尔科夫模型的预测算法中已经详细介绍和Python实现过,详见以前的博客: [机器学习][隐马尔可夫模型-4]维特比算法:算法详解+示例讲解+Python实现 2.CRF的预测算法之维特比算法2.1维特比算法简介维特比算法实际使用动态规划解CRF条件…