起源:协方差自然是由方差衍生而来的,方差反应的是一个变量(一维)的离散程度,到二维了,我们可以对每个维度求其离散程度,但我们还想知道更多.我们想知道两个维度(变量)之间的关系,直观的举例就是身高和体重(青少年),我们采集到的数据里面有一种固有的性质,那就是身高越高的样本似乎总有着更大的体重,那我们如何衡量这种关系呢,单独求两个方差是不行的. 因此协方差应运而生,它的公式也与方差极度同源,方差是每个样本减去均值的平方后去平均(n-1),协方差就把平方的2拆成1+1,就是x减去x的平均,乘以,y减去

高维空间中的高斯分布和随机投影 (一)在高维球体表面产生均匀分布点的方法 我们来考虑一个采样问题,就是怎样在高维单位球体的表面上均匀的采样.首先,考虑二维的情况,就是在球形的周长上采样.我们考虑如下方法:第一,先在一个包含该圆形的外接正方形内均匀的采样:第二,将采样到的点投影到圆形上.具体地说就是,第一,先独立均匀的从区间$[-1,1]$(我们假设圆形跟正方形的中心点都在原点)内产生两个值组成一个二维的点$(x_1,x_2)$:第二,将该二维点投影到圆形上.例如,如下图所示,如果我们产生点是图中

摘自shadowice1984的blog 这里想讲一个关于概率题的小技巧,就是关于如何求某个事件发生的概率PP,事实上大家也清楚,除了一些特殊的近似算法之外,我们在程序中计算概率的方法无非就是加减乘除四则运算而已--而减法和除法又是加法和乘法的逆. 而在概率角度上,应该各位都是知道乘法原理和加法原理的,乘法意味着独立事件,而加法意味着互斥事件--,另外一个概率中很常见的等式是所有事件发生的概率和等于1 因此概率上来讲,如果剔除掉近似算法的话,我们其实只有3个方程可以使用(这里不讨论条件概率--)

Embedding tflearn.layers.embedding_ops.embedding (incoming, input_dim, output_dim, validate_indices=False, weights_init='truncated_normal', trainable=True, restore=True, reuse=False, scope=None, name='Embedding') Embedding layer for a sequence of int

这是一道告诉我概率没有想象中那么难的题..... 首先,用期望的线性性质,那么答案为所有点有电的概率和 发现一个点的有电的概率来源形成了一个"或"关系,在概率中,这并不好计算...(其实是可以算的,只不过式子要复杂点...) 考虑反面,一个点没电的概率来源是一个“与”关系,比较好计算 举个荔枝,有$A, B, C$三个变量,$A, B, C$分别有$0.5, 0.3, 0.2$的概率为$1$ 问$A | B | C$为$1$的概率? 如果,我们从正面考虑,那么答案为$0.5 + (1

摘要 创建由输入样本数据和一组栅格波段定义的类的 ASCII 特征文件. 使用方法 · 输出特征文件应使用扩展名 .gsg. · 输入栅格波段和输入栅格或要素样本数据必须具有重叠范围.将仅为公共区域计算统计值. · 样本数据中的最小有效类样本数为两个.不存在最大类样本数. · 假设特征文件将用于使用协方差矩阵的其它多元分析工具(如最大似然法分类和类别概率),则必须存在协方差矩阵.启用对话框中的计算协方差矩阵选项或在脚本中指定 COVARIANCE 选项时会生成此信息. 注意这是默认设置. · 除

作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明.谢谢! 本文翻译自 RECURRENT NEURAL NETWORKS TUTORIAL, PART 1 – INTRODUCTION TO RNNS . Recurrent Neural Networks(RNNS) ,循环神经网络,是一个流行的模型,已经在许多NLP任务上显示出巨大的潜力.尽管它最近很流行,但是我发现能够解释RNN如何工作,以及如何实现RNN的资料很少

十分钟学习自然语言处理概述 作者:白宁超 2016年9月23日00:24:12 摘要:近来自然语言处理行业发展朝气蓬勃,市场应用广泛.笔者学习以来写了不少文章,文章深度层次不一,今天因为某种需要,将文章全部看了一遍做个整理,也可以称之为概述.关于这些问题,博客里面都有详细的文章去介绍,本文只是对其各个部分高度概括梳理.(本文原创,转载注明出处:十分钟学习自然语言处理概述  ) 1 什么是文本挖掘? 文本挖掘是信息挖掘的一个研究分支,用于基于文本信息的知识发现.文本挖掘的准备工作由文本收集.文本分

维特比算法解决隐马尔可夫模型解码问题(中文句法标注) 作者:白宁超 2016年7月12日14:08:28 摘要:最早接触马尔可夫模型的定义源于吴军先生<数学之美>一书,起初觉得深奥难懂且无什么用场.直到学习自然语言处理时,才真正使用到隐马尔可夫模型,并体会到此模型的妙用之处.马尔可夫模型在处理序列分类时具体强大的功能,诸如解决:词类标注.语音识别.句子切分.字素音位转换.局部句法剖析.语块分析.命名实体识别.信息抽取等.另外广泛应用于自然科学.工程技术.生物科技.公用事业.信道编码等多个领域.

一.MySQL中不同的存储引擎支持不同的锁机制 (A) MyISAM 和 MEMORY 支持表级锁 (B) BDB 支持页面锁,也支持表级锁 (C) InnoDB 支持行级锁,也支持表级锁,默认是行级锁. 这三种锁的特性如下: 表级锁:开销小,加锁快,不会死锁,粒度大,冲突概率高,并发度低 行级锁:开销大,加锁慢,会死锁,粒度小,冲突概率低,并发度高 页面锁:开销中,加速中,会死锁,粒度中,冲突概率中,并发度中 二.MyISAM表锁 (A) 检查 table_locks_waited 和 tab

隐马尔可夫模型 (Hidden Markov Model,HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中,随后在语言识别,自然语言处理以及生物信息等领域体现了很大的价值.平时,经常能接触到涉及 HMM 的相关文章,一直没有仔细研究过,都是蜻蜓点水,因此,想花一点时间梳理下,加深理解,在此特别感谢 52nlp 对 HMM 的详细介绍. 考虑下面交通灯的例子,一个序列可能是红-红/橙-绿-橙-红.这个序列可以画成一个状态机,不同的状态按照这个状态机互相交替,每一个状

前言 最近碰到几个恶心问题,也发现一点优化技巧,以及对Hybrid知识的一些整理,这里便一并拿出来做分享了,关于Hybrid的调试,会是我今后一个重点 我的博客首先是学习笔记,方便自己做知识沉淀,以后好查阅,其次才是分享,所以其中有误请提出,觉得乱是很有可能的~~~~~~ 我们在工作中一般会有这么一个流程:发现问题->定位问题->解决问题 其中最难就是定位问题,有时候我们会花上几天时间定位问题,而解决问题却只需要几秒...... 所以定位问题的能力非常重要,这也是经验的体现,所谓高手其实就是坑

转载请注明出处:http://www.cnblogs.com/BYRans/ 多分类问题 在一个多分类问题中,因变量y有k个取值,即.例如在邮件分类问题中,我们要把邮件分为垃圾邮件.个人邮件.工作邮件3类,目标值y是一个有3个取值的离散值.这是一个多分类问题,二分类模型在这里不太适用. 多分类问题符合多项分布.有许多算法可用于解决多分类问题,像决策树.朴素贝叶斯等.这篇文章主要讲解多分类算法中的Softmax回归(Softmax Regression) 推导思路为:首先证明多项分布属于指数分布族

HInton第9课,这节课没有放论文进去.....如有不对之处还望指正.话说hinton的课果然信息量够大.推荐认真看PRML<Pattern Recognition and Machine Learning>. 摘自PRML中22页. 正文: 一.提高泛化方法的概述 在这部分中,将会介绍通过减少(当一个模型的数据表现能力大大的超过训练时提供的数据而产生的)过拟合来提高模型的泛化能力,将会介绍不同的方法去控制网络的数据表达能力,并介绍当我们使用这样一种方法的时候如何设置元参数,然后给出一个通过

  寻找最可能的隐藏状态序列(Finding most probable sequence of hidden states) 对于一个特殊的隐马尔科夫模型(HMM)及一个相应的观察序列,我们常常希望能找到生成此序列最可能的隐藏状态序列. 1.穷举搜索 我们使用下面这张网格图片来形象化的说明隐藏状态和观察状态之间的关系: 我们可以通过列出所有可能的隐藏状态序列并且计算对于每个组合相应的观察序列的概率来找到最可能的隐藏状态序列.最可能的隐藏状态序列是使下面这个概率最大的组合: Pr(观察序列|隐藏

关于对信息.熵.信息增益是信息论里的概念,是对数据处理的量化,这几个概念主要是在决策树里用到的概念,因为在利用特征来分类的时候会对特征选取顺序的选择,这几个概念比较抽象,我也花了好长时间去理解(自己认为的理解),废话不多说,接下来开始对这几个概念解释,防止自己忘记的同时,望对其他人有个借鉴的作用,如有错误还请指出. 1.信息 这个是熵和信息增益的基础概念,我觉得对于这个概念的理解更应该把他认为是一用名称,就比如‘鸡‘(加引号意思是说这个是名称)是用来修饰鸡(没加引号是说存在的动物即鸡),‘狗’是

隐马尔可夫(HMM)好讲,简单易懂不好讲. 用最经典的例子,掷骰子.假设我手里有三个不同的骰子.第一个骰子是我们平常见的骰子(称这个骰子为D6),6个面,每个面(1,2,3,4,5,6)出现的概率是1/6.第二个骰子是个四面体(称这个骰子为D4),每个面(1,2,3,4)出现的概率是1/4.第三个骰子有八个面(称这个骰子为D8),每个面(1,2,3,4,5,6,7,8)出现的概率是1/8. &lt;img src="https://pic4.zhimg.com/435fb8d2d675d

参考列表 Selective Search for Object Recognition Selective Search for Object Recognition(菜菜鸟小Q的专栏) Selective Search for Object Recognition(Surge) Selective Search for Object Recognition(原始论文) Efficient Graph-Based Image Segmentation(快速图像分割) Homepage of K

谷歌路过这个专门介绍HMM及其相关算法的主页:http://rrurl.cn/vAgKhh 里面图文并茂动感十足,写得通俗易懂,可以说是介绍HMM很好的范例了.一个名为52nlp的博主(google “I Love Natural Language Processing”估计就能找到)翻译后的HMM入门介绍如下,由于原文分了很多章节,我嫌慢了还是一次性整理,长文慎入吧. 一.介绍(Introduction) 我们通常都习惯寻找一个事物在一段时间里的变化模式(规律).这些模式发生在很多领域,比如计

A Neural Probabilistic Language Model,这篇论文是Begio等人在2003年发表的,可以说是词表示的鼻祖.在这里给出简要的译文 A Neural Probabilistic Language Model 一个神经概率语言模型 摘  要 统计语言模型的一个目标是学习一种语言的单词序列的联合概率函数.因为维数灾难,这是其本质难点:将被模型测试的单词序列很可能是与在训练中见过的所有单词的序列都不相同.传统的但非常成功的基于n-gram的方法通过将出现在训练集很短的重

假如你有一个购物类的网站,那么你如何给你的客户来推荐产品呢?这个功能在很多 电商类网站都有,那么,通过SQL Server Analysis Services的数据挖掘功能,你也可以轻松的来构建类似的功能. 将分为三个部分来演示如何实现这个功能. 构建挖掘模型 为挖掘模型编写服务接口 开发简单的前端应用 此篇介绍如何使用SQL Server Analysis Services基于此问题来构建简单的挖掘模型. 关于数据挖掘,简单的就是说从海量数据中发现信息的一个过程.如果说商业智能分为三个层次:告