sklearn简单实现机器学习算法记录 需要引入最重要的库:Scikit-learn 一.KNN算法 from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier iris = datasets.load_iris() iris_x = iris.data iris_y = iris.targe

K最近邻(k-Nearest Neighbor,KNN)分类算法,是一个理论上比较成熟的方法,也是最简单的机器学习算法之一.该方法的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别.KNN算法中,所选择的邻居都是已经正确分类的对象.该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别. KNN方法虽然从原理上也依赖于极限定理,但在类别决策时,只与极少量的相邻样本有关.由于KNN方法主要靠周围有限的邻

FROM:  http://hi.baidu.com/chenwenwen0210/item/482c84396476f0e02f8ec230 #include<stdio.h> #include<math.h> #include<string.h> #include<map> #include<algorithm> #include<queue> using namespace std; typedef __int64 lld;  

最近做项目需要用到PID算法,这个本来是我的专业(控制理论与控制工程),可是我好像是把这个东西全部还给老师了. 没办法,只好抽时间来学习了. 先占个座,后续将持续更新!

在介绍ROC曲线之前,先说说混淆矩阵及两个公式,因为这是ROC曲线计算的基础. 1.混淆矩阵的例子(是否点击广告): 说明: TP:预测的结果跟实际结果一致,都点击了广告. FP:预测结果点击了,但是真实情况是未点击. FN:预测结果没有点击,但是真实情况是点击了. TN:预测结果没有点击,真实情况也是没有点击. 2.两个公式: 1)真正率: TPR=TP/(TP+FN) 2)假正率 FPR=FP/(FP+TN) 3.ROC曲线就是真正率随假正率的变化情况.下面用一段代码展示一下(sklearn

插入排序: 在<算法导论>中是这样描述的 这是一个对少量元素进行排序的有效算法.插入排序的工作机理与打牌时候,整理手中的牌做法差不多. 在开始摸牌时,我们的左手是空的,牌面朝下放在桌子上.接着,一次从桌子上摸起一张牌,并将它插入到左手一把牌中的正确位子上. 为了找到这个正确的位置,要将它与手中已有的每一张牌从右到左进行比较,无论什么时候,左手的牌都是排好序的. 算法思想: 将一个记录插入到已经排好序的有序表中,从而得到一个新的,记录数加1的有序表. 图解: 每一张图都是一个for循环.红色和绿

冒泡排序应该是最常用的排序方法,我接触的第一个排序算法就是冒泡,老师也经常那这个做例子. 冒泡排序是一种交换排序, 基本思想: 通过两两比较相邻的记录,若反序则交换,知道没有反序的记录为止. 例子: 依次类推.这里可以看出,每次比较从最后一个开始,向前比较,若反序则交换: 每次都保证了是两两相邻的记录比较. 冒泡排序的代码: void bubble_sort (myDataType *ary,int len) { int i,j; ;i<len;i++) { ;j>=i;j--) { ]) {

在网图中,最短路径的概论: 两顶点之间经过的边上权值之和最少的路径,并且我们称路径上的第一个顶点是源点,最后一个顶点是终点. 维基百科上面的解释: 这个算法是通过为每个顶点 v 保留目前为止所找到的从s到v的最短路径来工作的. 初始时,原点 s 的路径长度值被赋为 0 (d[s] = 0),若存在能直接到达的边(s,m),则把d[m]设为w(s,m),同时把所有其他(s不能直接到达的)顶点的路径长度设为无穷大,即表示我们不知道任何通向这些顶点的路径(对于 V 中所有顶点 v除 s 和上述 m 外

之前的Prim算法是基于顶点查找的算法,而Kruskal则是从边入手. 通俗的讲:就是希望通过 边的权值大小 来寻找最小生成树.(所有的边称为边集合,最小生成树形成的过程中的顶点集合称为W) 选取边集合中权值最小的边,查看边的两个顶点是否能和集合W构成环路,若能构成环路,则舍去:否则选取下一条最小权值边重复上一步. 这里需要注意一个问题,我们从最小权值的边开始寻找最小生成树, 判断当即将选入的边的两个顶点是否会和已经在集合中的顶点构成环路,这个是我们需要解决的问题. 先说下Kruskal算法的数

图: 目录: 1.概念 2.邻接矩阵(结构,深度/广度优先遍历) 3.邻接表(结构,深度/广度优先遍历) 图的基本概念: 数据元素:顶点 1.有穷非空(必须有顶点) 2.顶点之间为边(可空) 无向图:边没有方向,用(vi,vj)表示,(vj,vi)也可. 有向图:边有方向,称为弧,用<vi,vj>表示.vi尾,vj头 简单图:不存在顶点到其自身的边,且同一条边不重复出现. 无向完全图:无向图中,所有的顶点都有边连接. 边的条数:n*(n-1)/2 有向完全图:在有向图中,如果任意两个顶点之间都

一.概念 KNN主要用来解决分类问题,是监督分类算法,它通过判断最近K个点的类别来决定自身类别,所以K值对结果影响很大,虽然它实现比较简单,但在目标数据集比例分配不平衡时,会造成结果的不准确.而且KNN对资源开销较大. 二.计算 通过K近邻进行计算,需要: 1.加载打标好的数据集,然后设定一个K值: 2.计算预测对象与打标对象的欧式距离, 欧氏距离是最易于理解的一种距离计算方法,源自欧氏空间中两点间的距离公式: 二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离: 三维空间两点a(x1

排序二叉树对于我们寻找无序序列中的元素的效率有了大大的提高.查找的最差情况是树的高度.这里就有问题了,将无序数列转化为 二叉排序树的时候,树的结构是非常依赖无序序列的顺序,这样会出现极端的情况. [如图1]: 这样的一颗二叉排序树就是一颗比较极端的情况.我们在查找时候,效率依赖树的高度,所以不希望这样极端情况出现,而是希望元素比较均匀 的分布在根节点两端. 技术参考:fun4257.com/ 问题提出: 能不能有一种方法,使得我们的二叉排序树不依赖无序序列的顺序,也能使得我们得到的二叉排序树是比

之前我们介绍过,在一个工程中我们关心两个问题: (1)工程是否顺利进行 (2)整个工程最短时间. 之前我们优先关心的是顶点(AOV),同样我们也可以优先关心边(同理有AOE).(Activity On Edge Network) 看看百度百科上解释: AOE网:Activity on edge network 若在带权的有向图中,以顶点表示事件,以有向边表示活动,边上的权值表示活动的开销(如该活动持续的时间),则此带权的有向图称为AOE网. 如果用AOE网来表示一项工程,那么,仅仅考虑各个子工程

二叉排序树 也称为 二叉查找数. 它具有以下性质: 若它的左子树不空,则左子树上所有结点的值均小于它的根结点的值. 若它的右子树不空,则右子树上所有结点的值均大于它的根结点的值. 它的左.右子树也分别为二叉排序树. 之前的查找折半查找.斐波那契查找.插值查找的前提条件就是序列为有序,为顺序存储结构.我们在查找一章提过,查找还有动态查找,比如插入和删除操作, 进行这些操作对顺序存储结构效率不那么高.能不能有一种既静态查找效率高,动态查找效率也高呢? 联想之前的堆排序,人们创造出一个堆这样的结构来提

以前有个游戏,一方写一个数字,另一方猜这个数字.比如0-100内一个数字,看谁猜中用的次数少. 这个里面用折半思想猜会大大减少次数. 步骤:(加入数字为9) 1.因为数字的范围是0-100,所以第一次猜50(100的一半) 2.缩小范围到0-50,根据对方回应数大了,再猜25(50的一半) 3.缩小范围到0-25,对方回应数大了,再猜13 4.缩小范围到0-13,对方回应数大了,再猜7 5.缩小范围到7-13,对方回应数小了,再猜10 6.缩小范围到7-10,对方回应数大了,再猜9,中 真是比较

之前在冒泡排序的附录中提到可以在每次循环时候,不用交换操作,而只需要记录最小值下标,每次循环后交换哨兵与最小值下标的书, 这样可以减少交换操作的时间. 这种方法针对冒泡排序中需要频繁交换数组数字而改进. 以此类推... 代码: void selectionSort(myDataType *ary,int len) { int i,j; int mymin; //记录最小值下标 ;i<len;i++) // 哨兵下标 { mymin = i; ;j<len;j++) //欲比较的下标 { if

floyd算法: 解决任意两点间的最短路径的一种算法,可以正确处理有向图或负权的最短路径问题,同时也被用于计算有向图的传递闭包. 设为从到的只以集合中的节点为中间节点的最短路径的长度. 若最短路径经过点k,则: 若最短路径不经过点k,则. 因此,. 在实际算法中,为了节约空间,可以直接在原来空间上进行迭代,这样空间可降至二维. 我的理解为: folyd算法是每次选定一个点,查看任意两个顶点的距离是否都小于经过这个点之和的距离. 即:假如ABC三个顶点相连,选定C的时候,查AB的距离是否大于 AC

一个连通图的生成树是一个极小的连通子图,它包含图中全部的顶点(n个顶点),但只有n-1条边. 最小生成树:构造连通网的最小代价(最小权值)生成树. prim算法在严蔚敏树上有解释,但是都是数学语言,很深奥. 最小生成树MST性质:假设N=(V,{E})是一个连通网,U是顶点集V的一个非空子集.若(u,v)是一条具有最小权值(代价)的边, 其中u∈U,v∈V-U,则必存在一颗包含边(u,v)的最小生成树. prim算法过程为: 假设N=(V,{E})是连通图,TE是N上最小生成树中边的集合.算法从

icp 算法原理是: 选取目标点云P和源点云Q,按照一定的约束条件,找到最邻近点(pi,qi),然后计算出最优R和t(旋转和平移), 使得误差函数最小,误差函数E(R,t): 基本算法流程: 1.在目标点云P中选取点集pi. 2.在源点云Q中选取对应的点集qi,使得||qi-pi||==min,也就是距离最小,这里的距离为欧氏距离. 3.计算旋转R和t,使得误差函数最小. 4.此时经过步骤3的R旋转和t平移后得到新的点集pi`,pi`=Rpi+t 5.计算pi`到点集qi的平均距离d. 6.如果

A long-distance telephone company charges its customers by the following rules: Making a long-distance call costs a certain amount per minute, depending on the time of day when the call is made. When a customer starts connecting a long-distance call,

To evaluate the performance of our first year CS majored students, we consider their grades of three courses only: C - C Programming Language, M - Mathematics (Calculus or Linear Algrbra), and E - English. At the mean time, we encourage students by e