第九个知识点:香农(Shannon)定义的熵和信息是什么 这是计算机理论的最后一篇.我们讨论信息理论的基础概念,什么是香农定义的熵和信息. 信息论在1948年被Claude E.Shannon建立.信息论最开始被应用于信号处理,但是经过几十年的发展,它现在已经被应用到各个学科了.这篇文章尝试简洁的介绍两个基础的概念,熵(entropy)和信息(information).如果你对这个感兴趣,我个人推荐你在这里学习更多.[1] 熵 熵是衡量一个或者多个变量不确定性的度量. 假设我们调查人们打开浏览器…

香农在1938年发表的伟大论文A Symbolic Analysis of Relay and Switching Circuits(<对继电器和开关电路中的符号分析>)将开关.继电器.二进制.布尔代数联系起来. https://www.cs.virginia.edu/~evans/greatworks/shannon38.pdf…

第八个知识点:交互式的定义如何帮助计算和IP类问题是什么 这是系列中的第8篇,我们主要讨论计算中交互作用的用处和IP类问题是什么. 为了回答这些问题,我们首先给交互式证明系统一个简洁的介绍.众所周知,零知识证明在密码协议中十分重要.零知识的概念在这篇介绍中有 [1].这种证明的迷人之处就在于断言的可验证性被证明了.为了解释这个东西,Goldwasser, Micali和Rackoff在经典证明系统上增加两种结构变成了交互式证明系统.第一个结构是随机化(randomisation),也就是说证明的…

众所周知,Python 3.11 版本带来了较大的性能提升,但是,它具体在哪些方面上得到了优化呢?除了著名的"香农计划"外,它还包含哪些与性能相关的优化呢?本文将带你一探究竟! 作者:Beshr Kayali 译者:豌豆花下猫@Python猫 英文:https://log.beshr.com/python-311-speedup-part-1 转载请保留作者及译者信息! Python 3.11 在几天前发布了,它照例带来了很多新特性,例如异常组.细粒度的错误位置与堆栈回溯.标准库对 T…

declare v_sal ) :; begin --if you could not see the output in console, you should set output on first use the command in command line : set serveroutput on dbms_output.put_line(v_sal); end;…

一.决策树之ID3算法简述 1976年-1986年,J.R.Quinlan给出ID3算法原型并进行了总结,确定了决策树学习的理论.这可以看做是决策树算法的起点.1993,Quinlan将ID3算法改进成C4.5算法,称为机器学习的十大算法之一.ID3算法的另一个分支是CART(Classification adn Regression Tree, 分类回归决策树),用于预测.这样,决策树理论完全覆盖了机器学习中的分类和回归两个领域. 本文只做了ID3算法的回顾,所选数据的字段全部是有序多分类的分…

最近自己实现了一个ZIP压缩数据的解压程序,觉得有必要把ZIP压缩格式进行一下详细总结,数据压缩是一门通信原理和计算机科学都会涉及到的学科,在通信原理中,一般称为信源编码,在计算机科学里,一般称为数据压缩,两者本质上没啥区别,在数学家看来,都是映射.一方面在进行通信的时候,有必要将待传输的数据进行压缩,以减少带宽需求:另一方面,计算机存储数据的时候,为了减少磁盘容量需求,也会将文件进行压缩,尽管现在的网络带宽越来越高,压缩已经不像90年代初那个时候那么迫切,但在很多场合下仍然需要,其中一个原因是…

该文章转自:http://www.cnblogs.com/esingchan/p/3958962.html (文章写得很详细,让我对zip压缩有了了解,感谢博主,贴在这是为了防止忘了有这么好的文章,侵删) 最近自己实现了一个ZIP压缩数据的解压程序,觉得有必要把ZIP压缩格式进行一下详细总结,数据压缩是一门通信原理和计算机科学都会涉及到的学科,在通信原理中,一般称为信源编码,在计算机科学里,一般称为数据压缩,两者本质上没啥区别,在数学家看来,都是映射.一方面在进行通信的时候,有必要将待传输的数据…

TCP/IP网络知识点总结 一．总述 1.定义:计算机网络是一些互相连接的.自治的计算机的集合.因特网是网络的网络. 2.分类: 根据作用范围分类: 广域网 WAN (Wide Area Network) 局域网 LAN (Local Area Network) 城域网 MAN (Metropolitan Area Network) 个人区域网 PAN (Personal Area Network) 根据使用者分类: 公用网 (public network) 专用网 (private netwo…

学完了计算机网络是时候整理一篇总结了,温故知新.注意:这篇博客很长长长(2.5万字+50图). TCP/IP网络知识点总结 一．总述 1.定义:计算机网络是一些互相连接的.自治的计算机的集合.因特网是网络的网络. 2.分类: 根据作用范围分类: 广域网 WAN (Wide Area Network) 局域网 LAN (Local Area Network) 城域网 MAN (Metropolitan Area Network) 个人区域网 PAN (Personal Area Network)…

1 前置知识 本部分只对相关概念做服务于差分隐私介绍的简单介绍,并非细致全面的介绍. 1.1 随机化算法 随机化算法指,对于特定输入,该算法的输出不是固定值,而是服从某一分布. 单纯形(simplex):一个\(k\)维单纯形是指包含\(k+1\)个顶点的凸多面体,一维单纯形是一条线段,二维单纯形是一个三角形,三维单纯形是一个四面体,以此类推推广到任意维."单纯"意味着基本,是组成更复杂结构的基本构件. 概率单纯形(probability simplex):是一个数学空间,上面每个点代…

<Linux多线程服务端编程:使用muduo C++网络库>这本书自今年一月上市以来,半年之内已经重印两次(加上首印,一共是三次印刷),总印数达到了9000册,这在技术书里已经算是相当不错的成绩.本书购买方式见配套网站 http://chenshuo.com/book . 以下谈一谈这本书的写作背景与内容取舍的原因. 参加工作以来,我编写并维护了若干C++/Java多线程网络服务程序,这本书总结了我在开发维护这类服务程序方面的经验.工作中,我没有写过单线程的网络服务程序,没有写过C语言的网络服…

转自:http://lyxh-2003.iteye.com/blog/434014 这是大科学家Richard Hamming的著名讲演,于1986年在贝尔通讯研究中心给200多名Bellcore的科学家们所做.在google上一搜,还未见中文翻译.在享受到Hamming闪耀的智慧的同时,禁不住要把它译成中文,让更多的只学了法语.德语.和柬埔寨语还未来得及学英语的同胞可以分享.思维是独特的,任何人的翻译都加上了译者的“思想”.所以,要知道Hamming到底讲的什么,请看原文.要看我是如何听Ham…

英文版http://www.cs.virginia.edu/~robins/YouAndYourResearch.html 视频版http://www.youtube.com/watch?v=a1zDuOPkMSw 中文版: 转自:http://lyxh-2003.iteye.com/blog/434014 翻译:老马的染缸http://www.rangang.com You and Your Research 这是大科学家Richard Hamming的著名讲演,于1986年在贝尔通讯研究中心…

0,熵的描述 熵(entropy)指的是体系的混沌的程度(可也理解为一个随机变量的不确定性),它在控制论.概率论.数论.天体物理.生命科学等领域都有重要应用,在不同的学科中也有引申出的更为具体的定义,是各领域十分重要的参量.熵由鲁道夫·克劳修斯(Rudolf Clausius)提出,并应用在热力学中.后来在,克劳德·艾尔伍德·香农(Claude Elwood Shannon)第一次将熵的概念引入到信息论中来.----baidu 下面我们将从随机变量开始一步一步慢慢理解熵. 1,随机变量(rand…

熵(entropy).KL 散度(Kullback-Leibler (KL) divergence)和交叉熵(cross-entropy)在机器学习的很多地方会用到.比如在决策树模型使用信息增益来选择一个最佳的划分,使得熵下降最大:深度学习模型最后一层使用 softmax 激活函数后,我们也常使用交叉熵来计算两个分布的“距离”.KL散度和交叉熵很像,都可以衡量两个分布之间的差异,相互之间可以转化. 1. 如何量化信息? 信息论是应用数学的一个分支,主要研究的是对一个信号包含信息的多少进行量化.信…

激活qiime2的执行环境:source activate qiime2-2019.4如何查看conda已有的环境:conda info -e 以下分析流程参考:https://docs.qiime2.org/2019.4/tutorials/qiime2-for-experienced-microbiome-researchers/ 1.数据准备 现在我们常用的就是这种格式的数据,每个样品一对数据文件 数据来源:https://docs.qiime2.org/2019.7/tutorials/…

注:代价函数(有的地方也叫损失函数,Loss Function)在机器学习中的每一种算法中都很重要,因为训练模型的过程就是优化代价函数的过程,代价函数对每个参数的偏导数就是梯度下降中提到的梯度,防止过拟合时添加的正则化项也是加在代价函数后面的.在学习相关算法的过程中,对代价函数的理解也在不断的加深,在此做一个小结. 什么是代价函数? 假设有训练样本(x, y),模型为h,参数为θ.h(θ) = θTx(θT表示θ的转置). (1)概况来讲,任何能够衡量模型预测出来的值h(θ)与真实值y之间的差异…

依存句法分析,法国语言学家L.Tesniere1959年提出.句法,句子规则,句子成分组织规则.依存句法,成分间依赖关系.依赖,没有A,B存在错误.语义,句子含义. 依存句法强调介词.助词划分作用,语义依存注重实词间逻辑关系.依存句法随字面词语变化不同,语义依存不同字面词语可同一意思,句法结构不同句子语义关系可相同.依存句法分析和语义分析结合,计算机理解句子含义,匹配到最合适回答,通过置信度匹配实现聊天回答. 依存句法分析,确定句式句法结构(短语结构)或句子词汇依存关系.依存句法分析树,子节点依…

前面学习了决策树的算法原理,这里继续对代码进行深入学习,并掌握ID3的算法实践过程. ID3算法是一种贪心算法,用来构造决策树,ID3算法起源于概念学习系统(CLS),以信息熵的下降速度为选取测试属性的标准,即在每一个节点选取还尚未被用来划分的具有最高信息增益的属性作为划分标准,然后继续这个过程,直到生成的决策树能完美的分类训练样例. ID3算法的背景知识 ID3算法最早是由罗斯昆(J. Ross Quinlan)于1975年在悉尼大学提出的一种分类预测算法,算法的核心是“信息熵”.ID3算法通…

代价函数(有的地方也叫损失函数,Loss Function)在机器学习中的每一种算法中都很重要,因为训练模型的过程就是优化代价函数的过程,代价函数对每个参数的偏导数就是梯度下降中提到的梯度,防止过拟合时添加的正则化项也是加在代价函数后面的.在学习相关算法的过程中,对代价函数的理解也在不断的加深,在此做一个小结. 什么是代价函数? 假设有训练样本(x, y),模型为h,参数为θ.h(θ) = θTx(θT表示θ的转置). (1)概况来讲,任何能够衡量模型预测出来的值h(θ)与真实值y之间的差异的函…

1. 广播通道有3个,是固定的吗?设备为了节省功耗,可以忽略掉几个应答? 连接间隔可以是7.5ms到4s内的任意值,但必须是1.25ms的整数倍,从设备延迟,实际上是一个连接间隔的倍数,代表从设备在必须侦听前可以忽略多少个连接事件.有2个参数,连接间隔,从设备延迟.2. 蓝牙的信道宽度是2M,什么意思?信号的最高频率是F2,最低频率是F1,F2-F1=信道宽度,信道的宽度和数据传输的速度有什么关系? 尼奎斯特定理 频带和实际速率是怎么换算:若信道带宽为W,则尼奎斯特定理指出最大码元速率为B=2W…

好多算法之类的,看理论描述,让人似懂非懂,代码走一走,现象就了然了. 引: from sklearn import tree names = ['size', 'scale', 'fruit', 'butt'] labels = [1,1,1,1,1,0,0,0] p1 = [2,1,0,1] p2 = [1,1,0,1] p3 = [1,1,0,0] p4 = [1,1,0,0] n1 = [0,0,0,0] n2 = [1,0,0,0] n3 = [0,0,1,0] n4 = [1,1,0,…

信息熵(entropy) 信息熵模型(香农Shannon's Entropy Model) 在一个随机事件中,某个事件发生的不确定度越大,熵也就越大,那我们要搞清楚所需要的信息量越 信息增益(IG,Information Gain):决策树构建中节点的选择靠的是信息增益 表示得知特征A的信息而使得D集合的信息不确定性减少的程度. 选 IG 大的那个feature    …

决策数(Decision Tree)在机器学习中也是比较常见的一种算法,属于监督学习中的一种.看字面意思应该也比较容易理解,相比其他算法比如支持向量机(SVM)或神经网络,似乎决策树感觉“亲切”许多. 优点:计算复杂度不高,输出结果易于理解,对中间值的缺失值不敏感,可以处理不相关特征数据. 缺点:可能会产生过度匹配的问题. 使用数据类型:数值型和标称型. 简单介绍完毕,让我们来通过一个例子让决策树“原形毕露”. 一天,老师问了个问题,只根据头发和声音怎么判断一位同学的性别. 为了解决这个问题,同…

1.物理层 物理层 协议:RJ45.CLOCK.IEEE802.3 (中继器,集线器) 作用:通过媒介传输比特,确定机械及电气规范(比特Bit) 1.1 通信基础 数据 (data) —— 运送消息的实体. 信号 (signal) —— 数据的电气的或电磁的表现. 模拟信号 (analogous signal) —— 代表消息的参数的取值是连续的. 数字信号 (digital signal) —— 代表消息的参数的取值是离散的. 码元 (code) —— 在使用时间域(或简称为时域)的波形表示数…

教材学习 1.基本概念划分 OIS的七层协议: 应用层.表示层.会话层.运输层.网络层.数据链路层.物理层. OIS的五层协议: 应用层.运输层.网络层.数据链路层.物理层. 由下往上介绍如下: 2.物理层 特性:机械特性.电气特性.功能特性.过程特性. 数据通信系统:源系统(或发送端.发送方).传输系统(或传输网络)和目的系统(或接受端.接受方) 源系统: 源点:源点设备产生要传输的数据.源点又称为源站或者信源 发送器:通常,源点生成的数字比特流要通过发送器编码后才能够在传输系统进行传输.典型…

1.什么是决策树 决策树(decision tree)是一个树结构(可以是二叉树或者非二叉树).决策树分为分类树和回归树两种,分类树对离散变量做决策树,回归树对连续变量做决策树. 其中每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放在一个类别. 使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,知道到达叶子节点,将叶子节点存放的类别作为决策结果.决策树学习算法主要由三部分构成 1.1特征选择 特征选择…

信息熵为什么要定义成-Σp*log(p)? 再解释信息熵之前,需要先来说说什么是信息量. 信息量是对信息的度量,单位一般用bit. 信息论之父克劳德·艾尔伍德·香农(Claude Elwood Shannon )对信息量的定义如下: 在解释这个公式之前,先看看下面的例子. 比如一个黑箱里有2个苹果,8个橙子我们把从黑箱里取苹果.橙子看成是一个随机过程,X={x1,x2},其中的随机变量分别表示苹果.橙子. 当我们了解到拿出来的是什么的时候,我们就接受到了信息,这个信息的信息量的大小与这个东西出现…

Bristol大学密码学博士生的五十二个知识点 这个系列,是Bristol大学的密码安全工作组为密码学和信息安全相关的博士准备了52个基本知识点. 原地址:http://bristolcrypto.blogspot.com/2014/10/52-things-number-1-different-types-of.html 对密码学基础是一个极好的总结. 每篇内容不多但是问题提出的极好.我翻译过来是随手之意. 计算机工程方面(E) Number 1 通用处理器,带指令扩展的通用处理器,专用处理器…