Evernote Export

1.神经网络

神经元

细胞的主体称为细胞体，然后有轴突、突触
他们构建的方式是可以调整的
我们会有一些输入的放电信号视为放电频率或输入的强度
X1​w1​X2​w2​X3​w3​
权值w基本相当于神经元对每个输入的增益或敏感性
计算这些输入的和∑i=1k​xi​wi​≥θ
输出的结果如果是1或0，我们称这样的模型为神经网络中的感知器。

2.感知器函数

阶跃函数

在数学中，如果实数域上的某个函数可以用半开区间上的指示函数的有限次线性组合来表示，那么这个函数就是阶跃函数，或者叫赫维赛德函数。换一种不太正式的说法就是，阶跃函数是有限段分段常数函数的组合。
感知器在目前的情况下就是一系列的输入，返回值为0或1

8.感知器训练

1.感知器规则-->感知器使用的是阈值机制
2.梯度下降(德尔塔定律)-->不使用阈值机制
感知器最终只要得到的是一个线性的函数并且最终能够实现分类就能完成任务

9.梯度下降

10.学习规则比较

1.对于感知器来说，线性的变化更适合，因为这是一个线性的规则，具有更好的收敛性
2.对于梯度下降来说，更适合非线性的操作，因为使用的是微积分导数

11.sigmod函数

σ(a)=1+e−a1​
a−>−∞σ(a)−>0
a−>+∞σ(a)−>1
sigmod函数的特性就是随着激活函数趋向于负无穷，函数值趋向于0，随着激活函数趋向于正无穷，函数值趋向于1，并且整个过程是平滑曲线
sigmod函数

13.神经网络草图

反向传播，从输入到输出，再回到输入来验证结果

15.限定偏差

限定偏差所用的任意一张数据结构，也可以告诉你将要考虑的假设集合
感知器规则一定是线性的，sigmod函数结合起来可以表示更多问题
我们训练神经网络的时候，一般会指定有限数量的隐藏单元以及有限数量的分层
因此，并不是任何的神经网络真的都可以得到任意函数，任何固定的网络只能得到可以得到的结果
网络的复杂性不仅仅由节点和分层决定，也和权值的大小有关

16.喜好偏差

选择偏置：我们会优先选择节点靠近根节点，有较高信息增益的树，我们优先选择正确的树

17.小结

1.感知器：一个阈值单元或者线性阈值单元
2.感知器网络连接构成网络
3.感知器的学习规则->针对学习规则

%23%23%23%23%201.%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%0A**%E7%A5%9E%E7%BB%8F%E5%85%83**%0A!%5B1f4de4d9c8aa96fd9a3f931d13c28842.png%5D(en-resource%3A%2F%2Fdatabase%2F1236%3A1)%0A%E7%BB%86%E8%83%9E%E7%9A%84%E4%B8%BB%E4%BD%93%E7%A7%B0%E4%B8%BA%E7%BB%86%E8%83%9E%E4%BD%93%EF%BC%8C%E7%84%B6%E5%90%8E%E6%9C%89%E8%BD%B4%E7%AA%81%E3%80%81%E7%AA%81%E8%A7%A6%0A%E4%BB%96%E4%BB%AC%E6%9E%84%E5%BB%BA%E7%9A%84%E6%96%B9%E5%BC%8F%E6%98%AF%E5%8F%AF%E4%BB%A5%E8%B0%83%E6%95%B4%E7%9A%84%0A%E6%88%91%E4%BB%AC%E4%BC%9A%E6%9C%89%E4%B8%80%E4%BA%9B%E8%BE%93%E5%85%A5%E7%9A%84%E6%94%BE%E7%94%B5%E4%BF%A1%E5%8F%B7%E8%A7%86%E4%B8%BA%E6%94%BE%E7%94%B5%E9%A2%91%E7%8E%87%E6%88%96%E8%BE%93%E5%85%A5%E7%9A%84%E5%BC%BA%E5%BA%A6%0A%24X_1w_1%24%24X_2w_2%24%24X_3w_3%24%0A%E6%9D%83%E5%80%BC%24w%24%E5%9F%BA%E6%9C%AC%E7%9B%B8%E5%BD%93%E4%BA%8E%E7%A5%9E%E7%BB%8F%E5%85%83%E5%AF%B9%E6%AF%8F%E4%B8%AA%E8%BE%93%E5%85%A5%E7%9A%84%E5%A2%9E%E7%9B%8A%E6%88%96%E6%95%8F%E6%84%9F%E6%80%A7%0A%E8%AE%A1%E7%AE%97%E8%BF%99%E4%BA%9B%E8%BE%93%E5%85%A5%E7%9A%84%E5%92%8C%24%5Csum%5Ek_%7Bi%3D1%7Dx_iw_i%5Cgeq%5Ctheta%24%0A%E8%BE%93%E5%87%BA%E7%9A%84%E7%BB%93%E6%9E%9C%E5%A6%82%E6%9E%9C%E6%98%AF1%E6%88%960%EF%BC%8C%E6%88%91%E4%BB%AC%E7%A7%B0%E8%BF%99%E6%A0%B7%E7%9A%84%E6%A8%A1%E5%9E%8B%E4%B8%BA%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%AD%E7%9A%84%E6%84%9F%E7%9F%A5%E5%99%A8%E3%80%82%0A%0A%23%23%23%23%202.%E6%84%9F%E7%9F%A5%E5%99%A8%E5%87%BD%E6%95%B0%0A**%5B%E9%98%B6%E8%B7%83%E5%87%BD%E6%95%B0%5D(https%3A%2F%2Fzh.wikipedia.org%2Fzh-cn%2F%25E9%2598%25B6%25E8%25B7%2583%25E5%2587%25BD%25E6%2595%25B0)**%0A%3E%E5%9C%A8%E6%95%B0%E5%AD%A6%E4%B8%AD%EF%BC%8C%E5%A6%82%E6%9E%9C%E5%AE%9E%E6%95%B0%E5%9F%9F%E4%B8%8A%E7%9A%84%E6%9F%90%E4%B8%AA%E5%87%BD%E6%95%B0%E5%8F%AF%E4%BB%A5%E7%94%A8%E5%8D%8A%E5%BC%80%E5%8C%BA%E9%97%B4%E4%B8%8A%E7%9A%84%E6%8C%87%E7%A4%BA%E5%87%BD%E6%95%B0%E7%9A%84%E6%9C%89%E9%99%90%E6%AC%A1%E7%BA%BF%E6%80%A7%E7%BB%84%E5%90%88%E6%9D%A5%E8%A1%A8%E7%A4%BA%EF%BC%8C%E9%82%A3%E4%B9%88%E8%BF%99%E4%B8%AA%E5%87%BD%E6%95%B0%E5%B0%B1%E6%98%AF%E9%98%B6%E8%B7%83%E5%87%BD%E6%95%B0%EF%BC%8C%E6%88%96%E8%80%85%E5%8F%AB%E8%B5%AB%E7%BB%B4%E8%B5%9B%E5%BE%B7%E5%87%BD%E6%95%B0%E3%80%82%E6%8D%A2%E4%B8%80%E7%A7%8D%E4%B8%8D%E5%A4%AA%E6%AD%A3%E5%BC%8F%E7%9A%84%E8%AF%B4%E6%B3%95%E5%B0%B1%E6%98%AF%EF%BC%8C%E9%98%B6%E8%B7%83%E5%87%BD%E6%95%B0%E6%98%AF%E6%9C%89%E9%99%90%E6%AE%B5%E5%88%86%E6%AE%B5%E5%B8%B8%E6%95%B0%E5%87%BD%E6%95%B0%E7%9A%84%E7%BB%84%E5%90%88%E3%80%82%0A%E6%84%9F%E7%9F%A5%E5%99%A8%E5%9C%A8%E7%9B%AE%E5%89%8D%E7%9A%84%E6%83%85%E5%86%B5%E4%B8%8B%E5%B0%B1%E6%98%AF%E4%B8%80%E7%B3%BB%E5%88%97%E7%9A%84%E8%BE%93%E5%85%A5%EF%BC%8C%E8%BF%94%E5%9B%9E%E5%80%BC%E4%B8%BA0%E6%88%961%0A%0A%23%23%23%23%208.%E6%84%9F%E7%9F%A5%E5%99%A8%E8%AE%AD%E7%BB%83%0A1.%E6%84%9F%E7%9F%A5%E5%99%A8%E8%A7%84%E5%88%99--%3E%E6%84%9F%E7%9F%A5%E5%99%A8%E4%BD%BF%E7%94%A8%E7%9A%84%E6%98%AF%E9%98%88%E5%80%BC%E6%9C%BA%E5%88%B6%0A2.%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D(%E5%BE%B7%E5%B0%94%E5%A1%94%E5%AE%9A%E5%BE%8B)--%3E%E4%B8%8D%E4%BD%BF%E7%94%A8%E9%98%88%E5%80%BC%E6%9C%BA%E5%88%B6%0A%E6%84%9F%E7%9F%A5%E5%99%A8%E6%9C%80%E7%BB%88%E5%8F%AA%E8%A6%81%E5%BE%97%E5%88%B0%E7%9A%84%E6%98%AF%E4%B8%80%E4%B8%AA%E7%BA%BF%E6%80%A7%E7%9A%84%E5%87%BD%E6%95%B0%E5%B9%B6%E4%B8%94%E6%9C%80%E7%BB%88%E8%83%BD%E5%A4%9F%E5%AE%9E%E7%8E%B0%E5%88%86%E7%B1%BB%E5%B0%B1%E8%83%BD%E5%AE%8C%E6%88%90%E4%BB%BB%E5%8A%A1%0A%0A%23%23%23%23%209.%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%0A%0A%23%23%23%23%2010.%E5%AD%A6%E4%B9%A0%E8%A7%84%E5%88%99%E6%AF%94%E8%BE%83%0A1.%E5%AF%B9%E4%BA%8E%E6%84%9F%E7%9F%A5%E5%99%A8%E6%9D%A5%E8%AF%B4%EF%BC%8C%E7%BA%BF%E6%80%A7%E7%9A%84%E5%8F%98%E5%8C%96%E6%9B%B4%E9%80%82%E5%90%88%EF%BC%8C%E5%9B%A0%E4%B8%BA%E8%BF%99%E6%98%AF%E4%B8%80%E4%B8%AA%E7%BA%BF%E6%80%A7%E7%9A%84%E8%A7%84%E5%88%99%EF%BC%8C%E5%85%B7%E6%9C%89%E6%9B%B4%E5%A5%BD%E7%9A%84%E6%94%B6%E6%95%9B%E6%80%A7%0A2.%E5%AF%B9%E4%BA%8E%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%9D%A5%E8%AF%B4%EF%BC%8C%E6%9B%B4%E9%80%82%E5%90%88%E9%9D%9E%E7%BA%BF%E6%80%A7%E7%9A%84%E6%93%8D%E4%BD%9C%EF%BC%8C%E5%9B%A0%E4%B8%BA%E4%BD%BF%E7%94%A8%E7%9A%84%E6%98%AF%E5%BE%AE%E7%A7%AF%E5%88%86%E5%AF%BC%E6%95%B0%0A%0A%23%23%23%23%2011.sigmod%E5%87%BD%E6%95%B0%0A%24%5Csigma(a)%3D%5Cfrac%7B1%7D%7B1%2Be%5E%7B-a%7D%7D%24%0A%24a-%3E-%5Cinfty%20%5Csigma(a)-%3E0%24%0A%24a-%3E%2B%5Cinfty%20%5Csigma(a)-%3E1%24%0Asigmod%E5%87%BD%E6%95%B0%E7%9A%84%E7%89%B9%E6%80%A7%E5%B0%B1%E6%98%AF%E9%9A%8F%E7%9D%80%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0%E8%B6%8B%E5%90%91%E4%BA%8E%E8%B4%9F%E6%97%A0%E7%A9%B7%EF%BC%8C%E5%87%BD%E6%95%B0%E5%80%BC%E8%B6%8B%E5%90%91%E4%BA%8E0%EF%BC%8C%E9%9A%8F%E7%9D%80%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0%E8%B6%8B%E5%90%91%E4%BA%8E%E6%AD%A3%E6%97%A0%E7%A9%B7%EF%BC%8C%E5%87%BD%E6%95%B0%E5%80%BC%E8%B6%8B%E5%90%91%E4%BA%8E1%EF%BC%8C%E5%B9%B6%E4%B8%94%E6%95%B4%E4%B8%AA%E8%BF%87%E7%A8%8B%E6%98%AF%E5%B9%B3%E6%BB%91%E6%9B%B2%E7%BA%BF%0A**%5Bsigmod%E5%87%BD%E6%95%B0%5D(http%3A%2F%2Fmathworld.wolfram.com%2FSigmoidFunction.html)**%0A%0A%23%23%23%23%2013.%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%8D%89%E5%9B%BE%0A%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%EF%BC%8C%E4%BB%8E%E8%BE%93%E5%85%A5%E5%88%B0%E8%BE%93%E5%87%BA%EF%BC%8C%E5%86%8D%E5%9B%9E%E5%88%B0%E8%BE%93%E5%85%A5%E6%9D%A5%E9%AA%8C%E8%AF%81%E7%BB%93%E6%9E%9C%0A%0A%23%23%23%23%2015.%E9%99%90%E5%AE%9A%E5%81%8F%E5%B7%AE%0A%3E%E9%99%90%E5%AE%9A%E5%81%8F%E5%B7%AE%E6%89%80%E7%94%A8%E7%9A%84%E4%BB%BB%E6%84%8F%E4%B8%80%E5%BC%A0%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84%EF%BC%8C%E4%B9%9F%E5%8F%AF%E4%BB%A5%E5%91%8A%E8%AF%89%E4%BD%A0%E5%B0%86%E8%A6%81%E8%80%83%E8%99%91%E7%9A%84%E5%81%87%E8%AE%BE%E9%9B%86%E5%90%88%0A%E6%84%9F%E7%9F%A5%E5%99%A8%E8%A7%84%E5%88%99%E4%B8%80%E5%AE%9A%E6%98%AF%E7%BA%BF%E6%80%A7%E7%9A%84%EF%BC%8Csigmod%E5%87%BD%E6%95%B0%E7%BB%93%E5%90%88%E8%B5%B7%E6%9D%A5%E5%8F%AF%E4%BB%A5%E8%A1%A8%E7%A4%BA%E6%9B%B4%E5%A4%9A%E9%97%AE%E9%A2%98%0A%E6%88%91%E4%BB%AC%E8%AE%AD%E7%BB%83%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E6%97%B6%E5%80%99%EF%BC%8C%E4%B8%80%E8%88%AC%E4%BC%9A%E6%8C%87%E5%AE%9A%E6%9C%89%E9%99%90%E6%95%B0%E9%87%8F%E7%9A%84%E9%9A%90%E8%97%8F%E5%8D%95%E5%85%83%E4%BB%A5%E5%8F%8A%E6%9C%89%E9%99%90%E6%95%B0%E9%87%8F%E7%9A%84%E5%88%86%E5%B1%82%0A%E5%9B%A0%E6%AD%A4%EF%BC%8C%E5%B9%B6%E4%B8%8D%E6%98%AF%E4%BB%BB%E4%BD%95%E7%9A%84%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9C%9F%E7%9A%84%E9%83%BD%E5%8F%AF%E4%BB%A5%E5%BE%97%E5%88%B0%E4%BB%BB%E6%84%8F%E5%87%BD%E6%95%B0%EF%BC%8C%E4%BB%BB%E4%BD%95%E5%9B%BA%E5%AE%9A%E7%9A%84%E7%BD%91%E7%BB%9C%E5%8F%AA%E8%83%BD%E5%BE%97%E5%88%B0%E5%8F%AF%E4%BB%A5%E5%BE%97%E5%88%B0%E7%9A%84%E7%BB%93%E6%9E%9C%0A**%E7%BD%91%E7%BB%9C%E7%9A%84%E5%A4%8D%E6%9D%82%E6%80%A7%E4%B8%8D%E4%BB%85%E4%BB%85%E7%94%B1%E8%8A%82%E7%82%B9%E5%92%8C%E5%88%86%E5%B1%82%E5%86%B3%E5%AE%9A%EF%BC%8C%E4%B9%9F%E5%92%8C%E6%9D%83%E5%80%BC%E7%9A%84%E5%A4%A7%E5%B0%8F%E6%9C%89%E5%85%B3**%0A%0A%23%23%23%23%2016.%E5%96%9C%E5%A5%BD%E5%81%8F%E5%B7%AE%0A%E9%80%89%E6%8B%A9%E5%81%8F%E7%BD%AE%EF%BC%9A%E6%88%91%E4%BB%AC%E4%BC%9A%E4%BC%98%E5%85%88%E9%80%89%E6%8B%A9%E8%8A%82%E7%82%B9%E9%9D%A0%E8%BF%91%E6%A0%B9%E8%8A%82%E7%82%B9%EF%BC%8C%E6%9C%89%E8%BE%83%E9%AB%98%E4%BF%A1%E6%81%AF%E5%A2%9E%E7%9B%8A%E7%9A%84%E6%A0%91%EF%BC%8C%E6%88%91%E4%BB%AC%E4%BC%98%E5%85%88%E9%80%89%E6%8B%A9%E6%AD%A3%E7%A1%AE%E7%9A%84%E6%A0%91%0A%0A%23%23%23%23%2017.%E5%B0%8F%E7%BB%93%0A1.%E6%84%9F%E7%9F%A5%E5%99%A8%EF%BC%9A%E4%B8%80%E4%B8%AA%E9%98%88%E5%80%BC%E5%8D%95%E5%85%83%E6%88%96%E8%80%85%E7%BA%BF%E6%80%A7%E9%98%88%E5%80%BC%E5%8D%95%E5%85%83%0A2.%E6%84%9F%E7%9F%A5%E5%99%A8%E7%BD%91%E7%BB%9C%E8%BF%9E%E6%8E%A5%E6%9E%84%E6%88%90%E7%BD%91%E7%BB%9C%0A3.%E6%84%9F%E7%9F%A5%E5%99%A8%E7%9A%84%E5%AD%A6%E4%B9%A0%E8%A7%84%E5%88%99-%3E%E9%92%88%E5%AF%B9%E5%AD%A6%E4%B9%A0%E8%A7%84%E5%88%99

【udacity】机器学习-神经网络的更多相关文章

  1. 从 0 开始机器学习 - 神经网络反向 BP 算法！

    最近一个月项目好忙,终于挤出时间把这篇 BP 算法基本思想写完了,公式的推导放到下一篇讲吧. 一.神经网络的代价函数 神经网络可以看做是复杂逻辑回归的组合,因此与其类似,我们训练神经网络也要定义代价函 ...

  2. python最全学习资料:python基础进阶+人工智能+机器学习+神经网络(包括黑马程序员2017年12月python视频(百度云链接))

    首先用数据说话,看看资料大小,达到675G 承诺:真实资料.不加密,获取资料请加QQ:122317653 包含内容:1.python基础+进阶+应用项目实战 2.神经网络算法+python应用 3.人 ...

  3. python学习大全:python基础进阶+人工智能+机器学习+神经网络

    首先用数据说话,看看资料大小,达到675G承诺:真实资料.不加密.(鉴于太多朋友加我QQ,我无法及时回复,) 方便的朋友给我点赞.评论下,谢谢!(内容较大,多次保存) [hide]链接:[url]ht ...

  4. 机器学习: 神经网络中的Error函数

    利用神经网络做分类的时候,可以将神经网络看成一个mapping function,从输入到输出经过复杂的非线性变换.而输出的预测值与实际的目标值总是存在一定偏差的,一般利用这种偏差建立error 函数 ...

  5. Python -- machine learning， neural network -- PyBrain 机器学习 神经网络

    I am using pybrain on my Linuxmint 13 x86_64 PC. As what it is described: PyBrain is a modular Machi ...

  6. HYWZ 吴恩达-机器学习+神经网络反向传播

  7. Google发布机器学习平台Tensorflow游乐场～带你玩神经网络（转载）

    Google发布机器学习平台Tensorflow游乐场-带你玩神经网络 原文地址:http://f.dataguru.cn/article-9324-1.html> 摘要: 昨天,Google发 ...

  8. Python开源机器学习框架：Scikit-learn六大功能，安装和运行Scikit-learn

    Python开源机器学习框架:Scikit-learn入门指南. Scikit-learn的六大功能 Scikit-learn的基本功能主要被分为六大部分:分类,回归,聚类,数据降维,模型选择和数据预 ...

  9. 波士顿房价预测 - 最简单入门机器学习 - Jupyter

    机器学习入门项目分享 - 波士顿房价预测 该分享源于Udacity机器学习进阶中的一个mini作业项目,用于入门非常合适,刨除了繁琐的部分,保留了最关键.基本的步骤,能够对机器学习基本流程有一个最清晰 ...

随机推荐

  1. Monthly Expense POJ 二分

    Description Farmer John is an astounding accounting wizard and has realized he might run out of mone ...

  2. Hibernate数据缓存攻略

    目录 第一章 缓存策略概述 第二章 hibernate不使用缓存的问题 第三章 一级缓存介绍 第四章 二级缓存 第五章 一二级缓存对比及总结 源代码: https://github.com/weili ...

  3. [转]十五天精通WCF——第三天 client如何知道server提供的功能清单

     通常我们去大保健的时候,都会找姑娘问一下这里能提供什么服务,什么价格,这时候可能姑娘会跟你口述一些服务或者提供一份服务清单,这样的话大 家就可以做到童嫂无欺,这样一份活生生的例子,在wcf中同样是一 ...

  4. 清楚windows 网络密码

    在windows上访问其它机器共享的文件时,第一次通常要输入用户名密码. 第二次再访问就不用了,因为windows会记住这个用户名和密码.  这样虽然很方便,不过有时也会有些问题.比如你想用其它的用户 ...

  5. 搭建strom 的开发环境 - local mode

    Setting Up a Development Environment This page outlines what you need to do to get a Storm developme ...

  6. IBM CEO罗睿兰：科技公司屹立百年的3个秘诀

    假设有不论什么科技公司能够完美阐释"转型"这个词的含义,那么这家公司非创立103年的IBM莫属. 如今,它的变化更胜以往. 在<財富>杂志周二于美国加利福尼亚州拉古纳尼 ...

  7. eclipse 执行MapReduce程序错误异常汇总(解决Map not fount)

    错误一: Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class wordCount.wordCount$ ...

  8. C语言之文件操作07——读取文件数据并计算均值方差标准差

    //文件 /* =============================================================== 题目:从文本文件"high.txt" ...

  9. poj 2931 Building a Space Station &lt;克鲁斯卡尔&gt;

    Building a Space Station Time Limit: 1000MS Memory Limit: 30000K Total Submissions: 5869 Accepted: 2 ...

  10. ExtJs4.1布局具体解释

    Border布局: Ext.onReady(function(){     Ext.QuickTips.init();     Ext.create('Ext.container.Viewport', ...