深层神经网络
简称为深度学习有两个非常重要的特性
1. 多层
2. 非线性

线性模型的局限性 :例如前面的神经网络有两层(不算输入层)，但是它和单层的神经网络井没有区别,任意线性模型的组合仍然还是线性模型,然而线性模型能够解决的问题是有限的

下面用TensorFlow Playground来演示 线性模型的局限性

还是以判断零件是否合格为例，输入为 X1 和巧，其中 X1 代表一个零件质量和平均质量 的差， X2代表一个零件长度和平均长度的差。 假设一个零件的质量及长度离平均质量及长度越近，那么这个零件越有可能合格

蓝色的点代表合格的零件，而黄色的点代表不合格的零件。可以看到虽然蓝色和黄色的点有一些重合，但是大部分代表合格零件的蓝色点都在原点(0,0)的附近，而代表不合格零件的黄色点都在离原点相对远的地方。 这样的分布比较接近真实问题，因为大部分真实的问题都存在大致的趋势，但是很难甚至无法完全正确地区分不同的类别,下面我们用线性模型尝试着去解决这个问题

顶部 (Activation) 选择线性(Linear)

这和前面设定的神经网络结构是基本一致的,通过模型训练100+轮候,在最右边可以看到训练结果

从左到右有隐约有数条分界线,说明这个模型只能用直线来划分平面,对于这种环形的分布是不适用的 (属于线性不可分问题)

而把数据切换成Gaussian高斯分布

在线性可分问题中，线性模型就能很好区分不同颜色的点。而在更复杂的问题中，往往是无法通过直线（或者高维空间的平面）划分的, 现实世界中，绝大部分的问题都是无法线性分割的。

回到判断零件是否合格的问题， 如果将激活函数换成非线性的,比如ReLU激活函数,神经网络模型就可以很好的区分不同颜色的点(零件)了

激活函数实现去线性化
如果将每一个神经元\\

[3] TensorFlow 深层神经网络的更多相关文章

  1. TensorFlow深层神经网络常用方法

    深度学习所示深层神经网络的代名词,重要特性:多层.非线性. 若只通过线性变换,任意层的神经网络模型与单层神经网络模型的表达能力没有任何区别,这是线性模型的局限性.对于线性可分的问题中,线性模型可解决, ...

  2. tensorFlow（五）深层神经网络

    TensorFlow基础见前博客 上实例: MNIST 数据集介绍 MNIST 是一个手写阿拉伯数字的数据集. 其中包含有 60000 个已经标注了的训练集,还有 10000 个用于测试的测试集. 本 ...

  3. TensorFlow（实战深度学习框架）----深层神经网络（第四章）

    深层神经网络可以解决部分浅层神经网络解决不了的问题. 神经网络的优化目标-----损失函数 深度学习:一类通过多层非线性变化对高复杂性数据建模算法的合集.(两个重要的特性:多层和非线性) 线性模型的最 ...

  4. TensorFlow学习笔记（二）深层神经网络

    一.深度学习与深层神经网络 深层神经网络是实现“多层非线性变换”的一种方法. 深层神经网络有两个非常重要的特性:深层和非线性. 1.1线性模型的局限性 线性模型:y =wx+b 线性模型的最大特点就是 ...

  5. TensorFlow学习笔记——深层神经网络的整理

    维基百科对深度学习的精确定义为“一类通过多层非线性变换对高复杂性数据建模算法的合集”.因为深层神经网络是实现“多层非线性变换”最常用的一种方法,所以在实际中可以认为深度学习就是深度神经网络的代名词.从 ...

  6. 【tensorflow:Google】四、深层神经网络

    一.深度学习与深层神经网络 1.线性模型局限性 线性模型无论多少层,表达能力是一致的.可以通过激活函数实现非线性. 2.多层网络可以解决异或运算 二.损失函数定义 1.经典损失函数: 分类问题: 二分 ...

  7. Tensorflow卷积神经网络[转]

    Tensorflow卷积神经网络 卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络, 在计算机视觉等领域被广泛应用. 本文将简单介绍其原理并分析Te ...

  8. 用Tensorflow让神经网络自动创造音乐

    #————————————————————————本文禁止转载,禁止用于各类讲座及ppt中,违者必究————————————————————————# 前几天看到一个有意思的分享,大意是讲如何用Ten ...

  9. （转）一文学会用 Tensorflow 搭建神经网络

    一文学会用 Tensorflow 搭建神经网络 本文转自:http://www.jianshu.com/p/e112012a4b2d 字数2259 阅读3168 评论8 喜欢11 cs224d-Day ...

随机推荐

  1. Zipkin分布式跟踪系统介绍

    Zipkin是什么Zipkin分布式跟踪系统:它可以帮助收集时间数据,解决在microservice架构下的延迟问题:它管理这些数据的收集和查找:Zipkin的设计是基于谷歌的Google Dappe ...

  2. (5)Microsoft office Word 2013版本操作入门_标尺

    1.标尺 :左缩进,右缩进,悬挂缩进,首行缩进,阴影部分 可以左右拖拽调整边缘. 1.1  左缩进:默认缩进所在的段落,要缩进多段则需要多段落选中, 后拖动左缩进. 1.2 首行缩进缩进或者突出所选的 ...

  3. python文件夹copy器（多进程版）

    本节的练习的要求如下: 输入要拷贝文件夹的文件名称 读取该文件夹下的所有文件 启动5个进程来拷贝文件夹,将拷贝成功的文件名称放入队列中 主进程中显示文件拷贝的进度 代码如下: import multi ...

  4. Python国内豆瓣源

    Python国内豆瓣源 https://pypi.doubanio.com/simple/

  5. Exception 和 Error 有什么区别么

    声明 本篇所涉及的提问,正文的知识点,全都来自于杨晓峰的<Java核心技术36讲>,当然,我并不会全文照搬过来,毕竟这是付费的课程,应该会涉及到侵权之类的问题. 所以,本篇正文中的知识点, ...

  6. JS动态创建元素

    动态添加标签,可从服务器获取标签文本,然后加载到指定div中,可用于权限控制. 1.添加标签字符串方式 var str='<div>5555555555555555555555555555 ...

  7. 向后台提交数据：通过form表单提交数据需刷新网页 但通过Ajax提交数据不用刷新网页可通过原生态Ajax或jqueryAjax。Ajax代码部分

    原生态Ajax提交表单:需要借助XMLHttpRequest对象的open,要收通过post发送请求还要setRequsetHeader,然后把数据发送给后端,代码如下 目录结构 index.py代码 ...

  8. es6 语法 （函数扩展）

    //函数参数默认值(more值后不能有参数) { function test(x,y = 'world'){ console.log('默认值',x,y); } test('hello');// he ...

  9. 中文代码示例之Electron桌面应用开发初体验

    参考: 打造你的第一个 Electron 应用 首先运行下面在目录下创建package.json: $ npm init 去掉了一些无关项后内容如下: { "name": &quo ...

  10. Windows 批处理获取某路径下最新创建的文件的名称

    批处理获取某路径下最新创建的文件的名称 by:授客 QQ:1033553122 echo off setlocal enabledelayedexpansion rem 设置文件所在目录 set sr ...