一.聚类(无监督)的目标 使同一类对象的相似度尽可能地大:不同类对象之间的相似度尽可能地小. 二.层次聚类 层次聚类算法实际上分为两类:自上而下或自下而上.自下而上的算法在一开始就将每个数据点视为一个单一的聚类,然后依次合并(或聚集)类,直到所有类合并成一个包含所有数据点的单一聚类.因此,自下而上的层次聚类称为合成聚类或HAC.聚类的层次结构用一棵树(或树状图)表示.树的根是收集所有样本的唯一聚类,而叶子是只有一个样本的聚类.在继续学习算法步骤之前,先查看下面的图表 1.我们首先将每个数据点作为

1基本概念 购物篮事务(market basket transaction),如下表,表中每一行对应一个事务,包含唯一标识TID,和购买的商品集合.本文介绍一种成为关联分析(association analysis)的方法,这种方法,可以从下表可以提取出,{尿布}->牛奶. 两个关键问题:1大型数据计算量很大.2发现的某种模式可能是虚假,偶然发生的. 2问题定义 把数据可以转换为如下表的二元表示,非二元不在本文讨论范围 项集 项集的支持度计数: 关联规则: 我们要发现,满足最小支持度与最小置信度

K-means聚类算法(事先数据并没有类别之分!所有的数据都是一样的) 1.概述 K-means算法是集简单和经典于一身的基于距离的聚类算法 采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大. 该算法认为类簇是由距离靠近的对象组成的,因此把得到紧凑且独立的簇作为最终目标. 2.核心思想 通过迭代寻找k个类簇的一种划分方案,使得用这k个类簇的均值来代表相应各类样本时所得的总体误差最小. k个聚类具有以下特点:各聚类本身尽可能的紧凑,而各聚类之间尽可能的分开. k-means算

KNN分类算法(先验数据中就有类别之分,未知的数据会被归类为之前类别中的某一类!) 1.KNN介绍 K最近邻(k-Nearest Neighbor,KNN)分类算法是最简单的机器学习算法. 机器学习,算法本身不是最难的,最难的是: 1.数学建模:把业务中的特性抽象成向量的过程: 2.选取适合模型的数据样本. 这两个事都不是简单的事.算法反而是比较简单的事. 本质上,KNN算法就是用距离来衡量样本之间的相似度. 2.算法图示 ◊ 从训练集中找到和新数据最接近的k条记录,然后根据多数类来决定新数据类

决策树分类算法 1.概述 决策树(decision tree)——是一种被广泛使用的分类算法. 相比贝叶斯算法,决策树的优势在于构造过程不需要任何领域知识或参数设置 在实际应用中,对于探测式的知识发现,决策树更加适用. 2.算法思想 通俗来说,决策树分类的思想类似于找对象.现想象一个女孩的母亲要给这个女孩介绍男朋友,于是有了下面的对话: 女儿:多大年纪了? 母亲:26. 女儿:长的帅不帅? 母亲:挺帅的. 女儿:收入高不? 母亲:不算很高,中等情况. 女儿:是公务员不? 母亲:是,在税务局上班呢

作业部落:https://www.zybuluo.com/listenviolet/note/1399285 以上链接是自己在作业部落编辑的排序算法总结- Github: https://github.com/listenviolet/py_code/tree/master/sort Github中有对这10种排序算法的Python代码总结-

上篇介绍了隐马尔科夫模型 本文给出关于问题3解决方法,并给出一个例子的python代码 回顾上文,问题3是什么, 下面给出,维比特算法(biterbi) algorithm 下面通过一个具体例子,来说明维比特算法(biterbi) 下面附上该解决该例题的python代码 import numpy as np #you must install the numpy A=np.array([[0.5,0.2,0.3],[0.3,0.5,0.2],[0.2,0.3,0.5]]) B=np.array(

tf–idf算法python代码实现 这是我写的一个tf-idf的简单实现的代码,我们知道tfidf=tf*idf,所以可以分别计算tf和idf值在相乘,首先我们创建一个简单的语料库,作为例子,只有四句话,每句表示一个文档 copus=['我正在学习计算机','它正在吃饭','我的书还在你那儿','今天不上班'] 由于中文需要分词,jieba分词是python里面比较好用的分词工具,所以选用jieba分词,文末是jieba的链接.首先对文档进行分词: import jieba copus=['我

tf–idf算法解释 tf–idf, 是term frequency–inverse document frequency的缩写,它通常用来衡量一个词对在一个语料库中对它所在的文档有多重要,常用在信息检索和文本挖掘中. 一个很自然的想法是在一篇文档中词频越高的词对这篇文档越重要,但同时如果这个词又在非常多的文档中出现的话可能就是很普通的词,没有多少信息,对所在文档贡献不大,例如‘的’这种停用词.所以要综合一个词在所在文档出现次数以及有多少篇文档包含这个词,如果一个词在所在文档出现次数很多同时整个

上面只显示代码. 详BP原理和神经网络的相关知识,请参阅:神经网络和反向传播算法推导 首先是前向传播的计算: 输入: 首先为正整数 n.m.p.t,分别代表特征个数.训练样本个数.隐藏层神经元个数.输出 层神经元个数. 当中(1<n<=100,1<m<=1000, 1<p<=100, 1<t<=10). 随后为 m 行,每行有 n+1 个整数.每行代表一个样本中的 n 个特征值 (x 1 , x 2 ,..., x n ) 与样本的 实际观測结果 y.特征值

本文转载自: http://www.tuicool.com/articles/aEBNRnU   在网络中传输数据时,为了防止网络拥塞,需限制流出网络的流量,使流量以比较均匀的速度向外发送,令牌桶算法就实现了这个功能, 可控制发送到网络上数据的数目,并允许突发数据的发送. 什么是令牌 从名字上看令牌桶,大概就是一个装有令牌的桶吧,那么什么是令牌呢? 紫薇格格拿的令箭,可以发号施令,令行禁止.在计算机的世界中,令牌也有令行禁止的意思,有令牌,则相当于得到了进行操作的授权,没有令牌,就什么都不能做.

kNN(k-nearest neighbor algorithm)算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性.简单地说,K-近邻算法采用测量不同特征值之间的距离方法进行分类. - 优点:精度高.对异常值不敏感.无数据输入假定. - 缺点:计算复杂度高.空间复杂度高. - 适用数据范围:数值型和标称型. 举个简单的例子,一群男生和一群女生,我们知道他们的身高和性别. 如下表格: 身高 性别 165 女 16

FP-growth算法高效发现频繁项集(Python代码) http://blog.csdn.net/leo_xu06/article/details/51332428

求解从1到6的最短路径. python代码实现:(以A-F代表1-6) # Dijkstra算法需要三张散列表和一个存储列表用于记录处理过的节点,如下: processed = [] def build_graph(): """建立图关系的散列表""" graph = {} graph["A"] = {} graph["A"]["B"] = 1 graph["A"][

tf–idf算法python代码实现 这是我写的一个tf-idf的简单实现的代码,我们知道tfidf=tf*idf,所以可以分别计算tf和idf值在相乘,首先我们创建一个简单的语料库,作为例子,只有四句话,每句表示一个文档 copus=['我正在学习计算机','它正在吃饭','我的书还在你那儿','今天不上班'] 由于中文需要分词,jieba分词是python里面比较好用的分词工具,所以选用jieba分词,文末是jieba的链接.首先对文档进行分词: import jieba copus=['我

小姐姐带你一起学:如何用Python实现7种机器学习算法(附代码) Python 被称为是最接近 AI 的语言.最近一位名叫Anna-Lena Popkes的小姐姐在GitHub上分享了自己如何使用Python(3.6及以上版本)实现7种机器学习算法的笔记,并附有完整代码.所有这些算法的实现都没有使用其他机器学习库.这份笔记可以帮大家对算法以及其底层结构有个基本的了解,但并不是提供最有效的实现. 小姐姐她是德国波恩大学计算机科学专业的研究生,主要关注机器学习和神经网络. 七种算法包括: 线性回归

原理解析 KNN-全称K-Nearest Neighbor,最近邻算法,可以做分类任务,也可以做回归任务,KNN是一种简单的机器学习方法,它没有传统意义上训练和学习过程,实现流程如下: 1.在训练数据集中,找到和需要预测样本最近邻的K个实例: 2.分别统计这K个实例所属的类别,最多的那个类别就是样本预测的类别(多数表决法): 对于回归任务而言,则是求这K个实例输出值的平均值(选择平均法): 因此,该算法的几个重点在于: 1.K值的选取,K值的不同直接会导致最终结果的不同: 选择较小的k值,就相当

1 原则 在开始讨论Python社区所采用的具体标准或是由其他人推荐的建议之前,考虑一些总体原则非常重要. 请记住可读性标准的目标是提升可读性.这些规则存在的目的就是为了帮助人读写代码,而不是相反. 本小节讨论你所需记住的一些原则. 1.1 假定你的代码需要维护 人们很容易倾向相信某时所完成的工作在未来不需要添加一部分或对其维护.这是由于很难预料到未来的需求,以及低估自己造成Bug的倾向.然而,所写代码很少不被修改一直存在. 如果你假设自己所写代码会"一劳永逸"的无需之后进行阅读.调试

零 导言 软件安全课上,老师讲了AC算法,写个博客,记一下吧. 那么AC算法是干啥的呢? ——是为了解决多模式匹配问题.换句话说,就是在大字符串S中,看看小字符串s1, s2,...有没有出现. AC算法的时间复杂度是线性的,思路非常巧妙,也挺好理解的.但是有些的对于AC算法的介绍,挺难看懂的.这是因为原始的AC算法,会存在内存占用过多的问题,因为我们引入了”双数组“的方法来减少内存占用.所以,实际运用的AC算法,都是用双数组的方法写的. 一 基本信息 首先要说明的是,AC全称Aho-Coras

一个 11 行 Python 代码实现的神经网络 2015/12/02 · 实践项目 · 15 评论· 神经网络 分享到:18 本文由 伯乐在线 - 耶鲁怕冷 翻译,Namco 校稿.未经许可,禁止转载!英文出处:iamtrask.欢迎加入翻译组. 概要:直接上代码是最有效的学习方式.这篇教程通过由一段简短的 python 代码实现的非常简单的实例来讲解 BP 反向传播算法. 代码如下:   X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ]) y