神经网络和深度学习这一块内容与机器学习课程里Week4+5内容差不多. 这篇笔记记录了Week4+5中没有的内容. 参考笔记:深度学习笔记 神经网络和深度学习 结构化数据:如数据库里的数据 非结构化数据:hard to understand:如图像.文本 一. 深度学习的优势 算法.硬件计算能力的提高使神经网络运行速度变快 大数据(带labels的)使得神经网络精确度更高 在数据集不多的时候深度学习的优势并不是很明显,但是在大数据的情况下,辅助以好的算法和强计算能力,会使神经网络的运行速度和精确…

1. 应用机器学习是高度依赖迭代尝试的,不要指望一蹴而就,必须不断调参数看结果,根据结果再继续调参数. 2. 数据集分成训练集(training set).验证集(validation/development set).测试集(test set). 对于传统的机器学习算法,数据量(比如100.1000.10000),常用的分法是70%训练集/30%测试集.60%训练集/20%验证集/20%测试集. 对于大数据(比如100万),可能分法是98%训练集/1%验证集/1%测试集.99.5%训练集/0.…

1. 应用机器学习是高度依赖迭代尝试的,不要指望一蹴而就,必须不断调参数看结果,根据结果再继续调参数. 2. 数据集分成训练集(training set).验证集(validation/development set).测试集(test set). 对于传统的机器学习算法,数据量(比如100.1000.10000),常用的分法是70%训练集/30%测试集.60%训练集/20%验证集/20%测试集. 对于大数据(比如100万),可能分法是98%训练集/1%验证集/1%测试集.99.5%训练集/0.…

吴恩达深度学习课程的课堂笔记以及课后作业 代码下载:https://github.com/douzujun/Deep-Learning-Coursera 吴恩达推荐笔记:https://mp.weixin.qq.com/s/cX9_DiqofPhdXrY_0oTEAw 课程1 - 神经网络和深度学习 周数 名称 类型 地址 week1 深度学习简介 测验 略 week2 神经网络基础 笔记 逻辑回归 逻辑回归推导 具有神经网络思维的Logistic回归 编程作业 识别猫 week3 浅层神经网络…

从接触机器学习就了解到Andrew Ng的机器学习课程,后来发现又出来深度学习课程,就开始在网易云课堂上学习deeplearning.ai的课程,Andrew 的课真是的把深入浅出.当然学习这些课程还是要有一些基础的.线性代数,高等数学的一些知识. Andrew NG: Deep Learning.ai 网易云课堂(中文字幕) 推荐理由: Andrew Ng老师是讲课的能手,很多人认识他是从Stanford的经典<机器学习>课程上.Andrew老师授课思路清晰,简洁明了. 这是一份优美的信息图…

觉得有用的话,欢迎一起讨论相互学习~Follow Me 吴恩达采访Geoffrey Hinton NG:前几十年,你就已经发明了这么多神经网络和深度学习相关的概念,我其实很好奇,在这么多你发明的东西中,哪些你到现在为止依然保持有热情的. Hinton:我认为我觉得最具学术之美的是受限Boltzmann机器,我们认为他能用很简单很简单的算法去应用到密度很高的连接起来的网络. Hinton:我仍然认为无监督学习十分重要,当我们真正搞明白一些东西以后,结果会比现在好很多.不过目前并没有找到这种方法.…

目录 一. 改善过拟合问题 Bias/Variance 正则化Regularization 1. L2 regularization 2. Dropout正则化 其他方法 1. 数据变形 2. Early stopping 二. 特征缩放 1. 归一化 2. 标准化 三. 初始化参数 梯度消失.梯度爆炸 四. 梯度检验 在神经网络实施梯度检验的实用技巧和注意事项 五. 优化算法 1. mini-Batch梯度下降法 2. 动量梯度下降法 指数加权平均 指数平均加权的偏差修正 动量梯度下降法公式…

觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.11向量化 向量化是消除代码中显示for循环语句的艺术,在训练大数据集时,深度学习算法才变得高效,所以代码运行的非常快十分重要.所以在深度学习领域中将大数据集进行向量化操作变得十分重要. 对于非向量化数据的计算,我们会使用循环去遍历整个数据集计算对应项的乘积.例如我们要计算一个数据样本,其中w和b都是一个n维向量,计算式子:\(Z=W^{T}+b\)那么我们的式子会写为: z=0 for i in range(n-x) z+=w[i]*…

目录 一. 正交化 二. 指标 1. 单一数字评估指标 2. 优化指标.满足指标 三. 训练集.验证集.测试集 1. 数据集划分 2. 验证集.测试集分布 3. 验证集.测试集大小 四. 比较人类表现水平 1. 贝叶斯最佳误差 2. 改进方向 全部来自同一分布 当训练集来自不同分布 五. 误差分析 错误标签 六. 快速搭建系统并迭代 七. 迁移学习 八. 多任务学习 九. 端到端的学习 参考笔记:深度学习笔记 一. 正交化 正交化就是将深度学习的整个过程的所有需要解决的问题独立开来.针对于某个方…

1 什么是神经网络( What is a neural network ) 深度学习一般是指非常非常大的神经网络,那什么是神经网络呢? 以房子价格预测为例,现在你有6个房子(样本数量),你知道房子的大小和对应价格,你想要建立一个函数来用房子的大小来预测价格. 我们可以用线性回归( linear regression) 来拟合这些数据. 可以把这个函数视作最为简单的神经元,用房子的大小x作为对神经元的输出,把房价y作为神经元的输出.神经网络就是有很多个这样的神经元堆积起来的. 所有的神经元都计算这…