深层神经网络
简称为深度学习有两个非常重要的特性
1. 多层
2. 非线性

线性模型的局限性 :例如前面的神经网络有两层(不算输入层)，但是它和单层的神经网络井没有区别,任意线性模型的组合仍然还是线性模型,然而线性模型能够解决的问题是有限的

下面用TensorFlow Playground来演示 线性模型的局限性

还是以判断零件是否合格为例，输入为 X1 和巧，其中 X1 代表一个零件质量和平均质量 的差， X2代表一个零件长度和平均长度的差。 假设一个零件的质量及长度离平均质量及长度越近，那么这个零件越有可能合格

蓝色的点代表合格的零件，而黄色的点代表不合格的零件。可以看到虽然蓝色和黄色的点有一些重合，但是大部分代表合格零件的蓝色点都在原点(0,0)的附近，而代表不合格零件的黄色点都在离原点相对远的地方。 这样的分布比较接近真实问题，因为大部分真实的问题都存在大致的趋势，但是很难甚至无法完全正确地区分不同的类别,下面我们用线性模型尝试着去解决这个问题

顶部 (Activation) 选择线性(Linear)

这和前面设定的神经网络结构是基本一致的,通过模型训练100+轮候,在最右边可以看到训练结果

从左到右有隐约有数条分界线,说明这个模型只能用直线来划分平面,对于这种环形的分布是不适用的 (属于线性不可分问题)

而把数据切换成Gaussian高斯分布

在线性可分问题中，线性模型就能很好区分不同颜色的点。而在更复杂的问题中，往往是无法通过直线（或者高维空间的平面）划分的, 现实世界中，绝大部分的问题都是无法线性分割的。

回到判断零件是否合格的问题， 如果将激活函数换成非线性的,比如ReLU激活函数,神经网络模型就可以很好的区分不同颜色的点(零件)了

激活函数实现去线性化
如果将每一个神经元\\

[3] TensorFlow 深层神经网络的更多相关文章

  1. TensorFlow深层神经网络常用方法

    深度学习所示深层神经网络的代名词,重要特性:多层.非线性. 若只通过线性变换,任意层的神经网络模型与单层神经网络模型的表达能力没有任何区别,这是线性模型的局限性.对于线性可分的问题中,线性模型可解决, ...

  2. tensorFlow（五）深层神经网络

    TensorFlow基础见前博客 上实例: MNIST 数据集介绍 MNIST 是一个手写阿拉伯数字的数据集. 其中包含有 60000 个已经标注了的训练集,还有 10000 个用于测试的测试集. 本 ...

  3. TensorFlow（实战深度学习框架）----深层神经网络（第四章）

    深层神经网络可以解决部分浅层神经网络解决不了的问题. 神经网络的优化目标-----损失函数 深度学习:一类通过多层非线性变化对高复杂性数据建模算法的合集.(两个重要的特性:多层和非线性) 线性模型的最 ...

  4. TensorFlow学习笔记（二）深层神经网络

    一.深度学习与深层神经网络 深层神经网络是实现“多层非线性变换”的一种方法. 深层神经网络有两个非常重要的特性:深层和非线性. 1.1线性模型的局限性 线性模型:y =wx+b 线性模型的最大特点就是 ...

  5. TensorFlow学习笔记——深层神经网络的整理

    维基百科对深度学习的精确定义为“一类通过多层非线性变换对高复杂性数据建模算法的合集”.因为深层神经网络是实现“多层非线性变换”最常用的一种方法,所以在实际中可以认为深度学习就是深度神经网络的代名词.从 ...

  6. 【tensorflow:Google】四、深层神经网络

    一.深度学习与深层神经网络 1.线性模型局限性 线性模型无论多少层,表达能力是一致的.可以通过激活函数实现非线性. 2.多层网络可以解决异或运算 二.损失函数定义 1.经典损失函数: 分类问题: 二分 ...

  7. Tensorflow卷积神经网络[转]

    Tensorflow卷积神经网络 卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络, 在计算机视觉等领域被广泛应用. 本文将简单介绍其原理并分析Te ...

  8. 用Tensorflow让神经网络自动创造音乐

    #————————————————————————本文禁止转载,禁止用于各类讲座及ppt中,违者必究————————————————————————# 前几天看到一个有意思的分享,大意是讲如何用Ten ...

  9. （转）一文学会用 Tensorflow 搭建神经网络

    一文学会用 Tensorflow 搭建神经网络 本文转自:http://www.jianshu.com/p/e112012a4b2d 字数2259 阅读3168 评论8 喜欢11 cs224d-Day ...

随机推荐

  1. Windows驱动匹配详解

    在Windows下,几乎所有的硬件设备都需要安装驱动后才能正常工作,我们重装系统后第一件事就是要为各设备安装好驱动,我们可以下载官方驱动手动安装,也可以让我Windows自动扫描安装,还可以使用驱动精 ...

  2. spring-framework-中文文档二:Bean概述

    Spring IoC容器管理一个或多个bean.这些bean是使用您提供给容器的配置元数据创建的,例如,以XML <bean/>定义的形式 . 在容器本身中,这些bean定义被表示为 Be ...

  3. 亲测：LNMP环境下，解决项目缓冲慢、502以及配置https的问题

    在做的项目在nginx下访问缓冲时间过长,明显比apache下访问蛮11倍有余, 解决办法: 1增加nginx的upstream,其中upstream中为php-cgi的地址: 2利用nginx作为反 ...

  4. angular 时间戳转换（星期过滤器）

    {{(value.time+'000' | date:'yyyy-MM-dd HH:mm:ss') : '/'}} .filter('getWeek', function() { return fun ...

  5. BZOJ 1874: [BeiJing2009 WinterCamp]取石子游戏(SG函数)

    Time Limit: 5 Sec  Memory Limit: 162 MBSubmit: 871  Solved: 365[Submit][Status][Discuss] Description ...

  6. 【20190223】HTTP-知识点整理：HTTPS

    HTTPS:添加了加密及认证机制的HTTP HTTPS 并非是应用层的一种新协议.只是 HTTP 通信接口部分用SSL(Secure Socket Layer)和 TLS(Transport Laye ...

  7. android开发——Android开发中的47个小知识

    1.判断sd卡是否存在  boolean sdCardExist = Environment.getExternalStorageState().equals(android.os.Environme ...

  8. Android IPC机制（五）用Socket实现跨进程聊天程序

    1.Socket简介 Socket也称作“套接字“,是在应用层和传输层之间的一个抽象层,它把TCP/IP层复杂的操作抽象为几个简单的接口供应用层调用以实现进程在网络中通信.它分为流式套接字和数据包套接 ...

  9. verilog实现红黄蓝三秒灯

    代码如下 test.v文件 led.v文件 module test(); wire led_r,led_g,led_b; ; clk <= ~clk; led c1 ( .clk(clk), . ...

  10. day11(python)装饰器

    def wrapper(f):#1 def inner(*args,**kwargs):#3 ret = f(*args,**kwargs)#5 return ret#8 return inner#4 ...