机器学习能良好解决的问题

  • 识别模式
  • 识别异常
  • 预測

大脑工作模式

人类有个神经元，每一个包括个权重，带宽要远好于工作站。

神经元的不同类型

Linear （线性）神经元 



Binary threshold （二值）神经元 

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" alt="">

\begin{array}{l}z = b + \sum\limits_i^n {{x_i}{w_i}} \\y = \left\{ \begin{array}{l}\begin{array}{*{20}{c}}1&{z \ge 0}\end{array}\\\begin{array}{*{20}{c}}0&{otherwise}\end{array}\end{array} \right.\\\theta = - b\end{array}" alt="">

ReLu(Rectified Linear Units) 神经元

 

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" alt="">

 

Sigmoid 神经元 

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" alt="">

\begin{array}{l}z = b + \sum\limits_i^n {{x_i}{w_i}} \\y = \frac{1}{{1 + {e^{ - z}}}}\end{array}" alt="">

Stochastic binary （随机二值）神经元 

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" alt="">

\begin{array}{l}z = b + \sum\limits_i^n {{x_i}{w_i}} \\p\left( {s = 1} \right) = \frac{1}{{1 + {e^{ - z}}}}\end{array}" alt="">

学习任务的不同类型

Supervised learning（监督学习）

给定输入向量。学习怎样预測输出向量。

比如：回归与聚类。

Reinforcement learning（增强学习）

学习怎样选择动作去最大化payoff（收益）。

输出是一个动作，或者动作的序列。唯一的监督信号是一个标量反馈。

难度在于反馈在非常大程度上是有延时的，并且一个标量包括的信息量非常有限。



Unsupervised learning（非监督学习）

发现输入的良好内在表达形式。

提供输入的紧凑、低维度表达。

由已经学到的特征来提供输入的经济性高维度表达。

聚类是极度稀疏的编码形式。仅仅有一维非零特征。





神经网络的不同类型

Feed-forward neural networks （前向传播神经网络）

超过一层隐含层即为深度神经网络。

 

Recurrent networks（循环神经网络） 

生物学上更可信。

用RNN能够给序列进行建模：

等效于很深的网络，每层隐含层相应一个时间片。

隐含层有能力记忆长时间信息。 

从几何角度看感知机

Weight-space （权重空间）

每一个权重相应空间一维。

空间每一点相应某个特定权重选择。

忽略偏置项，每一个训练样本能够视为一个过原点的超平面。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" alt="">

把全部的训练样本都考虑进去，权重的可行解就在一个凸锥里面了。 

二值神经元做不到的事

同或 

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" alt="">

循环简单模式识别 

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" alt="">

不论对于模式A或是模式B，每次把整个训练集跑完时，神经元得到的输入都是全部权值的4倍。

没有不论什么差别。也就无法区分两者之间的差异了（非循环模式能够识别）。

使用隐藏神经元

线性神经元再多层也是线性的，不会添加网络学习能力。

固定输出的非线性也不够。

学习隐藏层的权重等效于学习特征。



欢迎參与讨论并关注本博客和微博以及知乎个人主页兴许内容继续更新哦~

转载请您尊重作者的劳动，完整保留上述文字以及文章链接，谢谢您的支持！

Neural Networks for Machine Learning by Geoffrey Hinton （1～2）的更多相关文章

  1. Neural Networks for Machine Learning by Geoffrey Hinton （4）

    一种能够学习家谱关系的简单神经网络 血缘一共同拥有12种关系: son, daughter, nephew, niece, father, mother, uncle, aunt, brother, ...

  2. [Hinton] Neural Networks for Machine Learning - Basic

    Link: Neural Networks for Machine Learning - 多伦多大学 Link: Hinton的CSC321课程笔记1 Link: Hinton的CSC321课程笔记2 ...

  3. [Hinton] Neural Networks for Machine Learning - Converage

    Link: Neural Networks for Machine Learning - 多伦多大学 Link: Hinton的CSC321课程笔记 Ref: 神经网络训练中的Tricks之高效BP ...

  4. [Hinton] Neural Networks for Machine Learning - RNN

    Link: Neural Networks for Machine Learning - 多伦多大学 Link: Hinton的CSC321课程笔记 补充: 参见cs231n 2017版本,ppt写得 ...

  5. [Hinton] Neural Networks for Machine Learning - Bayesian

    Link: Neural Networks for Machine Learning - 多伦多大学 Link: Hinton的CSC321课程笔记 Lecture 09 Lecture 10 提高泛 ...

  6. Machine Learning and Data Mining（机器学习与数据挖掘）

    Problems[show] Classification Clustering Regression Anomaly detection Association rules Reinforcemen ...

  7. [Hinton] Neural Networks for Machine Learning - Hopfield Nets and Boltzmann Machine

    Lecture 11 — Hopfield Nets Lecture 12 — Boltzmann machine learning Ref: 能量模型(EBM).限制波尔兹曼机(RBM) 高大上的模 ...

  8. 课程一(Neural Networks and Deep Learning)，第二周（Basics of Neural Network programming）—— 4、Logistic Regression with a Neural Network mindset

    Logistic Regression with a Neural Network mindset Welcome to the first (required) programming exerci ...

  9. 课程一(Neural Networks and Deep Learning)，第一周（Introduction to Deep Learning）—— 2、10个测验题

    1.What does the analogy “AI is the new electricity” refer to?  (B) A. Through the “smart grid”, AI i ...

随机推荐

  1. day06 面向对象编程

    面向对象: 面向对象: 世界万物,皆可分类 世界万物,皆为对象   只要是对象,就肯定属于某种品类 只要是对象,就肯定有属性         特性: 多态: 一个统一的接口,多种实现  例如:  一个 ...

  2. nuc 第二届山西省大学生程序设计大赛 魔力手环

    problem 很妙啊--发现状态转移矩阵每一行都可以由上一行平移得到,每次只算第一行然后平移,\(O(n^3)\) 就变成了 \(O(n^2)\). #include <iostream> ...

  3. php 图表的操作

    <?php $dir=dirname(__FILE__);//查找当前脚本所在路径 require $dir."/db.php";//引入mysql操作类文件 require ...

  4. django html render_to_response

    #coding=utf-8 from django.shortcuts import render from blog.models import BlogPost from django.short ...

  5. hibernate与struts框架实现增删改查

    这里配置hibernate与struts不再过多赘述,配置搭建前文已经详细讲解,配置如下: hibernate.hbm.xml配置: <?xml version="1.0" ...

  6. [USACO Section 2.1]城堡 The Castle (搜索)

    题目链接 Solution 比较恶心的搜索,思路很简单,直接广搜找联通块即可. 但是细节很多,要注意的地方很多.所以直接看代码吧... Code #include<bits/stdc++.h&g ...

  7. TroubleShoot: SharePoint 2013: ExecuteOrDelayUntilScriptLoaded 页面发布后不执行的问题

    SharePoint 2010 中的ExecuteOrDelayUntilScriptLoaded,在2013 中使用时没有效果的问题. Example: SharePoint 2013 Code: ...

  8. java8 函数式接口——Function/Predict/Supplier/Consumer

    Function 我们知道Java8的最大特性就是函数式接口.所有标注了@FunctionalInterface注解的接口都是函数式接口,具体来说,所有标注了该注解的接口都将能用在lambda表达式上 ...

  9. 常用的XMPP服务器

    1. Openfire (Wildfire) 3.x 底层通讯采用的mina框架,minak框架其实性能一般,netty早已经超越它,虽然最初都是Doug Lea写的.3.4版本之后支持集群,单台服务 ...

  10. 41深入理解C指针之---指针与栈

    一.借助第40指针与链表的相关内容,稍微修改即可: 1.定义头文件stack.h代码如下: #include <stdlib.h> #include <stdio.h> #if ...