简单线性回归 线性回归是数据挖掘中的基础算法之一,从某种意义上来说,在学习函数的时候已经开始接触线性回归了,只不过那时候并没有涉及到误差项.线性回归的思想其实就是解一组方程,得到回归函数,不过在出现误差项之后,方程的解法就存在了改变,一般使用最小二乘法进行计算. 使用sklearn.linear_model.LinearRegression进行线性回归 sklearn对Data Mining的各类算法已经有了较好的封装,基本可以使用fit.predict.score来训练.评价模型,并使用模型进…

CNN学习笔记:Logistic回归 线性回归 二分类问题 Logistic回归是一个用于二分分类的算法,比如我们有一张图片,判断其是否为一张猫图,为猫输出1,否则输出0. 基本术语 进行机器学习,首先要有数据,比如我们收集了一批关于西瓜的数据,例如 (色泽=青绿:根蒂=收缩:敲声=浊响) (色泽=乌黑:根蒂=稍蜷:敲声=沉闷) (色泽=浅白:根蒂=硬挺:敲声=清脆) 每对括号内是一条记录,这组记录的集合称为一个数据集,每条记录是关于一个事件或对象的描述,称为一个示例或样本,反映事件或对象在某方…

此系列将会每日持续更新,欢迎关注 线性回归(linear regression)的TensorFlow实现 #这里是基于python 3.7版本的TensorFlow TensorFlow是一个机器学习的利器,打包了众多的机器学习中的模型以及各种数学上的处理 因此利用TensorFlow来学习机器学习能起到事半功倍的效果. 以下代码即是线性回归的实现(实现对函数  y = 0.1 x + 0.3  的回归)代码内给出详细注释便于理解 import tensorflow as tf import…

Explaining Titanic hypothesis with decision trees decision trees are very simple yet powerful supervised learning methods, which constructs a decision tree model, which will be used to make predictions. The main advantage of this model is that a huma…

Text classifcation with Naïve Bayes In this section we will try to classify newsgroup messages using a dataset that can be retrieved from within scikit-learn. This dataset consists of around 19,000 newsgroup messages from 20 different topics ranging…

Image recognition with Support Vector Machines #our dataset is provided within scikit-learn #let's start by importing and printing its description import sklearn as sk import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import fe…

本系列文章允许转载,转载请保留全文! [请先阅读][说明&总目录]http://www.cnblogs.com/tbcaaa8/p/4415055.html 1. 梯度下降法 (Gradient Descent) 梯度下降法是一种用来寻找函数最小值的算法.算法的思想非常简单:每次沿与当前梯度方向相反的方向走一小步,并不断重复这一过程.举例如下: [例]使用梯度下降法,求z=0.3x2+0.4y2+2的最小值. 第一步:求解迭代格式.根据“每次沿与当前梯度方向相反的方向走一小步”的思想,可知x(k…

用Bagging优化模型的过程:1.对于要使用的弱模型(比如线性分类器.岭回归),通过交叉验证的方式找到弱模型本身的最好超参数:2.然后用这个带着最好超参数的弱模型去构建强模型:3.对强模型也是通过交叉验证的方式找到强模型的最好超参数(比如弱模型的数量) 对于Bagging.RandomForest.Boosting这些组合算法,默认是用的弱模型是决策树,但是可以通过base_estimator参数调整. np.linspace() 创建等比数列,生成(start,stop)区间指定元素个数nu…

https://blog.csdn.net/zhangyang10d/article/details/53418227 数据预处理 sklearn.preprocessing 标准化 (Standardization) 规范化(Normalization) 二值化 分类特征编码 推定缺失数据 生成多项式特征 定制转换器 1. 标准化Standardization(这里指移除均值和方差标准化) 标准化是很多数据分析问题的一个重要步骤,也是很多利用机器学习算法进行数据处理的必要步骤. 1.1 z-s…

岭回归 岭回归是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息.降低精度为代价获得回归系数更为符合实际.更可靠的回归方法,对病态数据的拟合要强于最小二乘法. 使用sklearn.linear_model.Ridge进行岭回归 一个简单的例子 from sklearn.linear_model import Ridge clf = Ridge(alpha=.5) X = [[0,0],[0,0],[1,1]] y = [0,…