假设我们现在想要知道what degree of polynomial to fit to a data set 或者 应该选择什么features 或者 如何选择regularization parameter λ 我们该如何做?----Model selection process 很好的拟合training set并不意味着是一个好的hypothesis 上图是一个overfitting的例子,它能很好的拟合training data,但它不是一个好的预测函数.所以一般来说,the tra…

http://stats.stackexchange.com/questions/19048/what-is-the-difference-between-test-set-and-validation-set 外国人无论问问题还是回答问题都非常有耐心. 很多中国人连问问题都没有耐心,就想着别人能理解自己的意思.而回答的人也特别少,尤其一些大牛基本不会在社区出现,要么觉得别人很low,要么忙自己的,要么不想分享. 差距.(当然也不是都是这样,也有无私的人)…

Keras split train test set when using ImageDataGenerator I have a single directory which contains sub-folders (according to labels) of images. I want to split this data into train and test set while using ImageDataGenerator in Keras. Although model.f…

In Week 6, you will be learning about systematically improving your learning algorithm. The videos for this week will teach you how to tell when a learning algorithm is doing poorly, and describe the 'best practices' for how to 'debug' your learning…

Detecting diabetic retinopathy in eye images The past almost four months I have been competing in a Kaggle competition about diabetic retinopathy grading based on high-resolution eye images. In this post I try to reconstruct my progression through th…

基于Pre-Train的CNN模型的图像分类实验  MatConvNet工具包提供了好几个在imageNet数据库上训练好的CNN模型,可以利用这个训练好的模型提取图像的特征.本文就利用其中的 “imagenet-caffe-ref”的模型,提取图像特征(softmax前一层的输出,4096维),在几个常用的图像分类的数据库中进行了相应的分类实验.这实验的过程中,有对图片进行左右翻转用于增加训练数据.下面结果的表格中:Original原始结果,Flip增加翻转后的结果. 需要用到的toolbox…

Advice for applying machine learning 本周主要学习如何提升算法效率,以及如何判断学习算法在什么时候表现的很糟糕和如何debug我们的学习算法.为了让学习算法表现更好,我们还会学习如何解决处理偏态数据(skewed data). 以下内容部分参考我爱公开课-Advice for applying machine learning 一.内容概要 Evaluating a learning algorithm Deciding what to try next(决定…

feature_selection模块 Univariate feature selection:单变量的特征选择 单变量特征选择的原理是分别单独的计算每个变量的某个统计指标,根据该指标来判断哪些指标重要.剔除那些不重要的指标.   sklearn.feature_selection模块中主要有以下几个方法: SelectKBest和SelectPercentile比较相似,前者选择排名排在前n个的变量,后者选择排名排在前n%的变量.而他们通过什么指标来给变量排名呢?这需要二外的指定. 对于re…

整理自Andrew Ng的machine learning课程week6. 目录: Advice for applying machine learning (Decide what to do next) Debugging a learning algorithm machine learning diagnostic Evaluating a hypothesis Model selection and Train / validation / test set Bias and Vari…

Demo侠可能是我等小白进阶的必经之路了,如今在AI领域,我也是个研究Demo的小白.用了两三天装好环境,跑通Demo,自学Python语法,进而研究这个Demo.当然过程中查了很多资料,充分发挥了小白的主观能动性,总算有一些收获需要总结下. 不多说,算法在代码中,一切也都在代码中. import os os.environ[' #获得数据集 from tensorflow.examples.tutorials.mnist import input_data mnist = input_data…