说明

该文为笔者在微信公众号:吴恩达deeplearningai 所推送《机器学习训练秘籍》系列文章的学习笔记,公众号二维码如下,1到15课课程链接点这里

该系列文章主要是吴恩达先生在机器学习方面的经验分享和基础教程,每一章十分短小,旨在让我们能在碎片化的时间中一点点熟悉机器学习的相关知识。

想看该系列文章英文版最新章节的同学请点击这里进行邮件订阅

第1至15章

1、2、3、决策方案很重要

-方案示例:
1、获取更多的数据,即收集更多猫的图片

2、收集更加多样化的训练数据集,比如处于不常见位置的猫的图片,颜色奇异的猫的图片,以及使用不同相机参数拍摄的猫的图片

3、通过增加梯度下降(gradient descent)的迭代次数,使算法训练得久一些

4、尝试一个拥有更多层(layer)/更多隐藏元(hidden units)/更多参数(parameters)的,规模更大的神经网络

5、尝试加入正则化(例如 L2 正则化)

6、改变神经网络的架构(激活函数,隐藏元数量等等)

...

选择以上合理的决策方案很重要.

4、机器学习现在发展迅速的原因

-有两个主要因素推动着近期的发展:
1、数据可用性(data availability):采集数据的设备越来越多,数据量越来越大
2、计算规模(computational scale):在近些年前,我们才开始能够使用现有的海量数据集来训练规模足够大的神经网络。

-旧的学习算法似乎并不知道要如何来处理如今这个规模量级的数据。

-在小数据集条件下,传统算法是否会表现得更好,取决于人们如何进行特征工程。

-神经网络提高性能方式:

(i) 训练大型的神经网络

(ii) 拥有海量的数据

5、并发集和测试集

-数据集一般包含正样本和负样本

-机器学习中的普遍做法是使用 70% / 30% 的比例来随机划分出训练集和测试集

-图片质量会比较影响训练和识别结果。

-训练集(training set)用于运行你的学习算法。

-开发集(development set)用于调整参数,选择特征,以及对学习算法作出其它决定。有时也称为留出交叉验证集(hold-out cross validation set)。

-测试集(test set)用于评估算法的性能,但不会据此决定使用什么学习算法或参数。

-开发集和测试集的使命就是引导你的团队对机器学习系统做出最重要的改变。(合理地设置开发集和测试集,使之近似模拟可能的实际数据情况,并处理得到一个好的结果。)

6、开发集和测试集应该服从同一分布

7、开发集和测试集应有多大

-当数据量特别特别大的时候,开发集和测试集的规模并不是越大越好。

8、使用单值评估指标进行优化

-查准率(Precision,又译作精度):预测结果为某类的样本中,实际为该类的比例。

-查全率(Recall,又译作召回率):某类的样本中,被正确识别为该类的比例。
-F1 Score为上述的平均值,使用加权平均求出单值指标更方便

9、优化指标和满意度指标

-准确率(accuracy)、运行时间(running time)、假正例率(false positive rate)和假反例率(false negative rate)等

10、通过开发集和度量指标加速迭代

-在建立一个机器学习系统时,我往往会这样:
1、尝试一些关于系统构建的想法(idea)。
2、使用代码(code)实现想法。
3、根据实验(experiment)结果判断想法是否行得通。(第一个想到的点子一般都行不通!)在此基础上学习总结,从而产生新的想法,并保持这一迭代过程。

-拥有开发集和度量指标,可以使你更快地检测出哪些想法给系统带来了小(或大)的提升 ,从而快速确定要继续研究或者是要放弃的方向。

11、12、何时修改开发集、测试集和度量指标

-开发集和测试集必须分布相同,否则有可能过拟合

-对假正例进行严重惩罚

-要对系统周期性得进行评估

-(i) 如果你在开发集上过拟合,则获取更多的开发集数据。
-(ii) 如果开发集和测试集的数据分布和实际关注的数据分布不同,则获取新的开发集和测试集。
-(iii) 如果评估指标不能够对最重要的任务目标进行度量,则需要修改评估指标。

13、快速构建并迭代你的第一个系统

-先快速构建一个最基础的系统,后面慢慢改,一般第一个都是有问题

14、15、误差分析:根据开发集样本评估多个想法

-误差分析(Error Analysis) 指的是检查算法误分类的开发集样本的过程,以便你找到造成这些误差的原因。

-对出错的开发集样本进行一定量的收集分析

-出错的这些样本中,观察其中某一类的比例(如果识别猫的系统,将狗误认为猫,而狗在这些误分类的样本中的比例),如果比例较小(eg.5%)有可能就为该项目的上限,不用在意,因为即使针对狗进行特定的改进,可能也只是会对总识别率提升一点点;如果比例较大,进行改进后就可以显著增加识别率

-误差分析并不会产生一个明确的数学公式来告诉你什么任务的优先级最高。你还需要考虑在不同类别上的预期进展以及解决每个类别所需的工作量。

-作者十分强调优先级问题,看来是看过太多的人做无用功了,他在视频中就经常提到:去一家公司参观,团队花6个月来排查解决的一个问题,他一眼就看出是哪个参数的问题。

---恢复内容结束---

笔记:《机器学习训练秘籍》——吴恩达deeplearningai微信公众号推送文章的更多相关文章

  1. 机器学习爱好者 -- 翻译吴恩达老师的机器学习课程字幕 http://www.ai-start.com/

    机器学习爱好者 -- 翻译吴恩达老师的机器学习课程字幕 GNU Octave    开源  MatLab http://www.ai-start.com/ https://zhuanlan.zhihu ...

  2. 吴恩达《机器学习》课程笔记——第六章:Matlab/Octave教程

    上一篇  ※※※※※※※※  [回到目录]  ※※※※※※※※  下一篇 这一章的内容比较简单,主要是MATLAB的一些基础教程,如果之前没有学过matlab建议直接找一本相关书籍,边做边学,matl ...

  3. 吴恩达(Andrew Ng)——机器学习笔记1

    之前经学长推荐,开始在B站上看Andrew Ng的机器学习课程.其实已经看了1/3了吧,今天把学习笔记补上吧. 吴恩达老师的Machine learning课程共有113节(B站上的版本https:/ ...

  4. ML:吴恩达 机器学习 课程笔记(Week1~2)

    吴恩达(Andrew Ng)机器学习课程:课程主页 由于博客编辑器有些不顺手,所有的课程笔记将全部以手写照片形式上传.有机会将在之后上传课程中各个ML算法实现的Octave版本. Linear Reg ...

  5. 第19月第8天 斯坦福大学公开课机器学习 (吴恩达 Andrew Ng)

    1.斯坦福大学公开课机器学习 (吴恩达 Andrew Ng) http://open.163.com/special/opencourse/machinelearning.html 笔记 http:/ ...

  6. 【Deeplearning.ai 】吴恩达深度学习笔记及课后作业目录

    吴恩达深度学习课程的课堂笔记以及课后作业 代码下载:https://github.com/douzujun/Deep-Learning-Coursera 吴恩达推荐笔记:https://mp.weix ...

  7. 我在 B 站学机器学习(Machine Learning)- 吴恩达(Andrew Ng)【中英双语】

    我在 B 站学机器学习(Machine Learning)- 吴恩达(Andrew Ng)[中英双语] 视频地址:https://www.bilibili.com/video/av9912938/ t ...

  8. Coursera课程《Machine Learning》吴恩达课堂笔记

    强烈安利吴恩达老师的<Machine Learning>课程,讲得非常好懂,基本上算是无基础就可以学习的课程. 课程地址 强烈建议在线学习,而不是把视频下载下来看.视频中间可能会有一些问题 ...

  9. 吴恩达deepLearning.ai循环神经网络RNN学习笔记_看图就懂了!!!(理论篇)

    前言 目录: RNN提出的背景 - 一个问题 - 为什么不用标准神经网络 - RNN模型怎么解决这个问题 - RNN模型适用的数据特征 - RNN几种类型 RNN模型结构 - RNN block - ...

随机推荐

  1. EOS资料收集

    柚子(EOS)可以理解为Enterprise Operation System,即为商用分布式应用设计的一款区块链操作系统.EOS是EOS软件引入的一种新的区块链架构,旨在实现分布式应用的性能扩展.注 ...

  2. P2245 星际导航

    题目描述 sideman 做好了回到 Gliese星球的硬件准备,但是 sideman 的导航系统还没有完全设计好.为了方便起见,我们可以认为宇宙是一张有 N 个顶点和 M 条边的带权无向图,顶点表示 ...

  3. 解决osx下 ssh: connect to host localhost port 22: Connection refused

    解决办法: 终端下执行:sudo  systmesetup -setremotelogin on

  4. layui弹出层之应用实例讲解

    从酒店管理系统到智能门锁及其现在的资源共享平台,layui框架,我们团队用的比较多的就是这个layui弹出层. layui弹出层,除了页面iframe层我们比较常用还有就是表单校验和其他相关的友好提示 ...

  5. CUDA和OpenGL互操作经典博文赏析和学习

    1.使用cuda+opengl图形互操作性实现MPR.原学位论文学习:实时交互的医学图像可视化.在该论文的第5.1.1节. 2.cuda与opengl互操作之PBO 3.cuda与opengl互操作之 ...

  6. 学习笔记——线程 Thread

    Thread是.net1.0 1.1时出现的 主要了解线程等待.回调.前后台线程区别 1.实例: //定义:public delegate void ThreadStart(); ThreadStar ...

  7. Spring AOP源码分析(三)创建AOP代理

    摘要: 本文结合<Spring源码深度解析>来分析Spring 5.0.6版本的源代码.若有描述错误之处,欢迎指正. 目录 一.获取增强器 1. 普通增强器的获取 2. 增加同步实例化增强 ...

  8. TCP建立连接与释放连接

    1.建立连接:(三次握手) (1)客户端发送一个SYN包给服务器,然后等待应答. (2)服务器端回应给客户端一个ACK=1.SYN=1的TCP数据段. (3)客户必须再次回应服务器端一个ACK确认数据 ...

  9. expdp导出时报错ora-16000

    一.问题现象:在对数据库进行expdp导出时发生报错ora-16000,脚本如下: nohup expdp "'/ as sysdba'" schemas=shp DIRECTOR ...

  10. 一份可以落地靠谱iOS开发规范

    列出来的都是个人觉得在团队合作,代码阅读,代码维护中比较重要的一些点,没有什么空格 间距华而不实的东西在里面.涉及 命名规范.编码规范.代码管理规范 命名规范 项目名都遵循大驼峰命名.例如:MSMob ...