TensorFlow实现Softmax Regression(回归)识别手写数字.MNIST(Mixed National Institute of Standards and Technology database),简单机器视觉数据集,28X28像素手写数字,只有灰度值信息,空白部分为0,笔迹根据颜色深浅取[0, 1], 784维,丢弃二维空间信息,目标分0~9共10类.数据加载,data.read_data_sets, 55000个样本,测试集10000样本,验证集5000样本.样本标注信…

机器学习三要素 机器学习的三要素为:模型.策略.算法. 模型:就是所要学习的条件概率分布或决策函数.线性回归模型 策略:按照什么样的准则学习或选择最优的模型.最小化均方误差,即所谓的 least-squares(在spss里线性回归对应的模块就叫OLS即Ordinary Least Squares): 算法:基于训练数据集,根据学习策略,选择最优模型的计算方法.确定模型中每个θi取值的计算方法,往往归结为最优化问题.对于线性回归,我们知道它是有解析解的,即正规方程 The normal equa…

吴恩达(Andrew Ng)机器学习课程:课程主页 由于博客编辑器有些不顺手,所有的课程笔记将全部以手写照片形式上传.有机会将在之后上传课程中各个ML算法实现的Octave版本. Linear Regression with One Variable Linear Algebra Review Linear Regression with Multiple Variables Octave/Matlab Tutorial…

深度学习课程笔记(十二) Matrix Capsule with EM Routing  2018-02-02  21:21:09  Paper: https://openreview.net/pdf/99b7cb0c78706ad8e91c13a2242bb15b7de325ad.pdf  Blog: https://jhui.github.io/2017/11/14/Matrix-Capsules-with-EM-routing-Capsule-Network/  [Abstract] 一个…

深度学习课程笔记(十一)初探 Capsule Network  2018-02-01  15:58:52 一.先列出几个不错的 reference: 1. https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b 2. https://medium.com/ai%C2%B3-theory-practice-bus…

课程概述 这是一个专项课程(Specialization),包含5个独立的课程,学习这门课程后做了相关的笔记记录. (1) 神经网络和深度学习 (2)  改善深层神经网络:超参数调试,正则化,优化 (3)  结构化机器学习项目 (4)  卷积神经网络 (5) 自然语言处理:搭建序列模型 下面根据各部分的课程笔记列了个链接清单. (1) 神经网络和深度学习 了解NN的基础,如何建立NN,如何训练它,课程的最后建立一个DNN识别猫. 第一周-介绍深度学习:http://www.cnblogs.com…

译者注:本文翻译自斯坦福CS231n课程笔记ConvNet notes,由课程教师Andrej Karpathy授权进行翻译.本篇教程由杜客和猴子翻译完成,堃堃和李艺颖进行校对修改. 原文如下 内容列表: 结构概述 用来构建卷积神经网络的各种层 卷积层 汇聚层 归一化层 全连接层 将全连接层转化成卷积层 卷积神经网络的结构 层的排列规律 层的尺寸设置规律 案例学习(LeNet / AlexNet / ZFNet / GoogLeNet / VGGNet) 计算上的考量 拓展资源 卷积神经网络(C…

译者注:本文智能单元首发,译自斯坦福CS231n课程笔记Neural Nets notes 3,课程教师Andrej Karpathy授权翻译.本篇教程由杜客翻译完成,堃堃和巩子嘉进行校对修改.译文含公式和代码,建议PC端阅读. 原文如下 内容列表: 梯度检查 合理性(Sanity)检查 检查学习过程 损失函数 训练集与验证集准确率 权重:更新比例 每层的激活数据与梯度分布 可视化 译者注:上篇翻译截止处 参数更新 一阶(随机梯度下降)方法,动量方法,Nesterov动量方法 学习率退火 二阶方…

译者注:本文智能单元首发,译自斯坦福CS231n课程笔记Neural Nets notes 2,课程教师Andrej Karpathy授权翻译.本篇教程由杜客翻译完成,堃堃进行校对修改.译文含公式和代码,建议PC端阅读. 原文如下 内容列表: 设置数据和模型 数据预处理 权重初始化 批量归一化(Batch Normalization) 正则化(L2/L1/Maxnorm/Dropout) 损失函数 小结 设置数据和模型 在上一节中介绍了神经元的模型,它在计算内积后进行非线性激活函数计算,神经网络…

译者注:本文智能单元首发,译自斯坦福CS231n课程笔记Neural Nets notes 1,课程教师Andrej Karpathy授权翻译.本篇教程由杜客翻译完成,巩子嘉和堃堃进行校对修改.译文含公式和代码,建议PC端阅读. 原文如下 内容列表: 不用大脑做类比的快速简介 单个神经元建模 生物动机和连接 作为线性分类器的单个神经元 常用的激活函数 译者注:上篇翻译截止处 神经网络结构 层组织 前向传播计算例子 表达能力 设置层的数量和尺寸 小节 参考文献 快速简介 在不诉诸大脑的类比的情况下…