[原创] 对于深度学习(deep learning)在工业界的应用现状和突破 [by matthewbai]

现状：

1. 目前大家对于大部分需求，通常采用multiple layer，units in each layer也是人工订好的（虽然可以做稀疏，但是在same layer范围内竞争）。

2. 网络结构(或connection paradigm)常用的有3种：

　　　　DNN(或DBN)中full connection，各个weight独立看待；

　　　　CNN中part connection（translation or scale）in same convolution,weight有group的概念，同group的"共生"（常采用equality）；

　　　　RNN中有了context的概念，从而在connection中增加了context内的依赖(temporal/spacial)。

3. feature learn from raw data layer by layer，but prior knowledge in raw data is NOT fully concerned.我们更期望学到是的联合概率而不是后验概率。

4.uncertainty quantification的问题解决，这个事关risk(variance)。

只从技术上谈突破（个人理解，有可能有误，请大牛们指正）如下：

a. BP很可能不是唯一的“彩蛋”。细节不便说，可以提一个，如果我到google/facebook搞，首先从layered graph model开始（形成inference network or inference graph）,采用bayesian network中的因果推断关系和markov network中的互为因果关系。

b. 网络结构方面消除layer间的隔阂的shrink或dropout。常有人说train到某个epoch后貌似提升不动，甚至反而变坏了，除了units size和learning rate调整解决外，可以考虑此思路。此外，更重要的是，不用拘束在第2点说到的connection paradigm，完全可以根据自己的业务（例如广告CTR）和数据特征特点，建立suitable connection。我和朋友研究下针对语音识别 和 广告CTR的特有网络形式。

c. prior knowledge的获取有3个思路：auto-encoder，manifold learning，structure constraints的表征。尤其是第三个，怎么把structure constraints有效的和network(or graph)的connection形式建立关系是个很好的思路。

d. quantification问题或者说upper bound问题是个“永恒”的话题。因为有些应用特别关注这些，比如互联网金融中对variance的risk evaluation。但改进还是有的，思路之一是逐层量化或逐图量化+适当约束优化。但不建议为了quantify而限制整个模型学习的activeness，从而得不偿失。