date:2016-09-13 今天开始注册了kaggle,从digit recognizer开始学习, 由于是第一个案例对于整个流程目前我还不够了解,首先了解大神是怎么运行怎么构思,然后模仿.这样的学习流程可能更加有效,目前看到排名靠前的是用TensorFlow.ps:TensorFlow是可以直接安linux环境下面,但是目前不能在windows环境里面运行(伤心一万点). TensorFlow模块用的是NN(神经网络),既然现在接触到可以用神经网络的例子我再也不好意思再逃避学习神经网络下面…

目录 0 前言 1 简介 2 数据准备 2.1 导入数据 2.2 检查空值 2.3 正则化 Normalization 2.4 更改数据维度 Reshape 2.5 标签编码 2.6 分割交叉验证集 3 CNN 3.1 定义网络模型 3.2 设置优化器和退火器 optimizer and annealer 3.3 数据增强 4 评估模型 4.1 训练和交叉验证曲线 4.2 混淆矩阵 Confusion matrix 5 生成结果 0 前言 比赛网址:https://www.kaggle.com/…

train.csv 和 test.csv 包含 1~9 的手写数字的灰度图片.每幅图片都是 28 个像素的高度和宽度,共 28*28=784 个像素点,每个像素值都在 0~255 之间. train.csv 包含 785 列,因为第 1 列是手写数字的真实值,后面的 784 列都是像素值.除第一行外,有 42000 条数据. test.csv 除了不包含 label 列,其它跟 train.csv 一样.除第一行外,有 28000 条数据. 先来看看 train.csv 里的灰度图片是什么样子.…

一.前言 kaggle上有传统的手写数字识别mnist的赛题,通过分类算法,将图片数据进行识别.mnist数据集里面,包含了42000张手写数字0到9的图片,每张图片为28*28=784的像素,所以整个数据集的大小为(42000,784),加上标签值的一列. 二.模型选择 通过简单的数据观察,发现这些数据都是初始的像素数据,还没经过标准化.所以对其做标准化处理后,我们就可以进入到模型选择的步骤了. 整个数据集dataset的数据量不算小,shape为(42000,784),为了节省时间,我们可以…

Digit Recognizer 手写体数字识别  MNIST数据集 本赛 train 42000样例 test 28000样例,原始MNIST是 train 60000 test 10000 我分别用 Logistic Regression/ 784-200-200-10的Sparse AutoEncoder/Convolution AutoEncoder刷了下 ===============方法一. One-Vs-All 的Logistic Regression===============…

0. 前言 1.任务描述 2.数据概览 3. 数据准备 4. 模型训练 5. kaggle实战 0. 前言 "尽管新技术新算法层出不穷,但是掌握好基础算法就能解决手头 90% 的机器学习问题." 本系列参考书籍 "Hands-on machine learning with scikit-learn and tensorflow"以及kaggle相关资料 1.任务描述 预测任务:根据某时刻房价相关数据,预测区域内该时刻任一街区的平均房价,决定是否对投资该街区的房子.…

本篇博客是基于以Kaggle中手写数字识别实战为目标,以KNN算法学习为驱动导向来进行讲解. 写这篇博客的原因 什么是KNN kaggle实战 优缺点及其优化方法 总结 参考文献 写这篇博客的原因 写下这篇博客,很大程度上是希望能记录和督促自己学习机器学习的过程,同时也在以后的学习生活中,可以将以前的博客翻来看看,重新回顾知识. 什么是KNN? 在模式识别和机器学习中,k-近邻算法(以下简称:KNN)是一种常用的监督学习中分类方法.KNN可以说是机器学习算法中最简单的一个算法,我希望它能带领大家…

文章目录 加载package read data PCA 降维探索 选择50维度, 拆分数据为训练集,测试机 KNN PCA降维和K值筛选 分析k & 维度 vs 精度 预测 生成提交文件 本文采用PCA+KNN的方法进行kaggle手写数字识别,训练数据共有42000行,每行代表一幅数字图片,共有784列(一副数字图像是28*28像素,将一副图像展开为一行即784),更多关于Digit Recognizer项目的介绍https://www.kaggle.com/c/digit-recogniz…

0. 前言 1. MNIST 数据集 2. 二分类器 3. 效果评测 4. 多分类器与误差分析 5. Kaggle 实战 0. 前言 "尽管新技术新算法层出不穷,但是掌握好基础算法就能解决手头 90% 的机器学习问题." 本系列参考书 "Hands-on machine learning with scikit-learn and tensorflow"以及kaggle相关资料 1. MNIST 数据集 MNIST是最常用的用来实验分类模型的数据集,有7w多张手写0…

上篇文章中,已经介绍了celery和RabbitMQ的安装以及基本用法. 本文将从工程的角度介绍如何使用celery. 1.配置和启动RabbitMQ 请参考celery+RabbitMQ实战记录. 2. 安装和使用celery 2.1 创建虚拟环境,并安装celery $ mkdir celery_demo $ cd celery_demo $ virtualenv -p python3 venv3 $ ./venv3/bin/pip install celery 项目的目录结构说明: --…