[梁山好汉说IT] 熵的概念 & 决策树ID3如何选择子树 0x00 摘要 记录对概念的理解,用梁山好汉做例子来检验是否理解正确. 0x01 IT概念 1. 事物的信息和信息熵 1.1 事物的信息(信息量越大确定性越大) 信息会改变你对事物的未知度和好奇心.信息量越大,你对事物越了解,进而你对事物的好奇心也会降低,因为你对事物的确定性越高.如果你确定一件事件的发生概率是100%,你认为这件事情的信息量为0——可不是吗,既然都确定了,就没有信息量了:相反,如果你不确定这件事,你需要通过各种方式去了…

[梁山好汉说IT] 容器概念在北宋社会的应用 0x00 摘要 如何对没有软件开发经验的人解释容器? 集装箱真的能够完美解释容器嘛? 除了集装箱还有其他常见实体能够解释容器嘛? 我找到了一个能够 和集装箱搭配起来 解释容器的例子:军队,或者更准确的是说北宋军队制度. 摘要对比如下: 项目 容器 宋军 总体需求 应用的扩展问题/迁移性问题/批量快速部署 召之即来/来之能战/战之能胜/胜了就老实点别造反 基本功能 完成进程基本业务功能 统兵权 封装 编程/打包成容器镜像 握兵权+装备 资源控制 C g…

[梁山好汉说IT] 梁山好汉和秒杀系统 0x00 摘要 今天看了一篇好文章,里面一些思路颇值得借鉴.先摘录总结精华.然后看看梁山好汉如何处理秒杀系统(系统隔离/系统搭建/风控过滤/削峰/信号广播......). 0x01 IT背景知识 文章摘录 1. 总体思路 --- 系统隔离 因为秒杀活动是有计划的,并且在短时间内会爆发大量的请求.为了不影响现有的业务系统的正常运行,我们需要把它和现有的系统做隔离.即使秒杀活动出现问题也不会影响现有的系统.隔离的设计思路可以从三个维度来思考:业务隔离/技术隔离…

[梁山好汉说IT] 区块链在梁山的应用 0x00 摘要 区块链属于一种去中心分布式数据存储系统,有其擅长的应用场景,也有其缺点. 下面用梁山为例来阐释下区块链部分概念&应用. 0x01 梁山好汉的区块链应用 1. 场景 --- 赌球 李逵,刘唐,石秀,杨志,白胜,乐和,燕青几个人赌球. 但是李逵这厮赌品不好,石秀容易上头,杨志容易犯二,刘唐既容易上头还容易犯二,白胜容易被欺负,乐和 / 小乙哥容易耍手段出老千. 2. 传统信任关系 & 中心化机构信用 中心化机构就是:公明哥哥组织大家一起赌…

[梁山好汉说IT] 梁山好汉和抢劫银行 0x00 摘要 今天看了一篇文章<史上最有学问的银行劫匪,教你如何把握人生重大机会>.先摘录精华如下,然后看看梁山好汉在类似情况下如何处理 (东京汴梁看灯项目) 0x01 文章摘录 抢银行有三个特点:第一.高风险高收益.第二.一次性机会,错了也无法弥补.第三.整个过程充满了你无法控制的变数. “现代银行劫匪之父男爵拉姆”是普鲁士军官,他把受到的军事教育,融入抢劫这个古老的职业中,并设计出一整套“银行抢劫方法论”.“抢银行”的核心是在警察来之前,抢到尽可能…

[梁山好汉说IT] 如何理解脑裂问题 这个系列是通过梁山好汉的例子来阐述一些IT概念. 1. 问题描述 Split-brain, 就是在集群环境中,因为异常情况发生后,产生两个子集群.每个子集群都选出一个leader(master)节点.最后互相竞争资源导致故障. 2. 如何解决? 概括起来有几种常见的办法(包括软件,硬件),比如上级干预,内部联络,自己反省,延时处理. 我们假设梁山好汉108人失散了,各54人,宋江卢俊义各率领一半,都以为另外一半挂了,就分别成立了梁山忠义堂.那么双方见面之后,…

[梁山好汉说IT] 如何理解一致性Hash 0x00 摘要 用梁山酒店分配客人为例来理解一致性Hash. 0x01. 与经典哈希方法的对比 经典哈希方法:总是假设内存位置的数量是已知且固定不变的.因为hash映射依赖节点/内存位置,所以如果需要变化集群,需要重新计算每一个key的哈希值.哈希表(服务器数量)大小的变更实际上干扰了所有映射. 一致性哈希:某种虚拟环结构.位置数量不再固定,环有无限数量的点,服务器节点可以放置在环上的随机位置.哈希表(服务器数量)大小改变会导致 只有一部分请求(相对于…

      ID3算法(Iterative Dichotomiser 3 迭代二叉树3代),是一个由Ross Quinlan发明的用于决策树的算法:简单理论是越是小型的决策树越优于大的决策树. 算法归纳: 1.使用所有没有使用的属性并计算与之相关的样本熵值: 2.选取其中熵值最小的属性 3.生成包含该属性的节点 4.使用新的分支表继续前面步骤   ID3算法以信息论为基础,以信息熵和信息增益为衡量标准,从而实现对数据的归纳分类:所以归根结底,是为了从一堆数据中生成决策树而采取的一种归纳方式:  …

决策树 (Decision Tree)是在已知各种情况发生概率的基础上,通过构成 决策树 来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法.由于这种决策分支画成图形很像一棵树的枝干,故称 决策树 .在机器学习中,决策树 是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系.Entropy = 系统的凌乱程度,使用算法ID3, C4.5和C5.0生成树算法使用熵.这一度量是基于信息学理论中熵的概念,本文着重讲ID3算法. 假设存…

Contents      1. 决策树的基本认识      2. ID3算法介绍      3. 信息熵与信息增益      4. ID3算法的C++实现 1. 决策树的基本认识    决策树是一种依托决策而建立起来的一种树.在机器学习中,决策树是一种预测模型,代表的是一种对 象属性与对象值之间的一种映射关系,每一个节点代表某个对象,树中的每一个分叉路径代表某个可能 的属性值,而每一个叶子节点则对应从根节点到该叶子节点所经历的路径所表示的对象的值.决策树仅 有单一输出,如果有多个输出,可以分别…