Lecturer 咖中咖 Tomaso A. Poggio Lecture slice Lecture video 三个基本问题: Approximation Theory: When and why are deep networks better than shallow networks? Optimization: What is the landscape of the empirical risk? Learning Theory: How can deep learning not…

Curse of Dimensionality Curse of Dimensionality refers to non-intuitive properties of data observed when working in high-dimensional space *, specifically related to usability and interpretation of distances and volumes. This is one of my favourite t…

原文章地址:维度灾难 - 柳枫的文章 - 知乎 https://zhuanlan.zhihu.com/p/27488363 对于大多数数据,在一维空间或者说是低维空间都是很难完全分割的,但是在高纬空间间往往可以找到一个超平面,将其完美分割. 引用The Curse of Dimensionality in Classification的例子来说明:想象下我们有一系列图片,每张图描述的不是猫就是狗.现在我们想利用这些图片来做一个可以判断猫狗的分类器.首先,我们需要找到一些描述猫狗特征,利用这些特征…

Theories of Deep Learning 借该课程,进入战略要地的局部战斗中,采用红色字体表示值得深究的概念,以及想起的一些需要注意的地方. Lecture 01 Lecture01: Deep Learning Challenge. Is There Theory? (Donoho/Monajemi/Papyan) Video link 纯粹的简介,意义不大. Lecture 02 Video: Stats385 - Theories of Deep Learning - David…

大咖秀,注意提问环节大家的表情,深入窥探大咖的心态,很有意思. 之前有NG做访谈,现在这成了学术圈流行. Video: https://www.youtube.com/watch?v=oCohnBbmpLA Lecture: https://stats385.github.io/assets/lectures/bolcskei-stats385-slides.pdf 调和分析 reading list:https://www.zhihu.com/question/28661999 先提及了核方法…

本篇围绕“深度渲染混合模型”展开. Lecture slices Lecture video Reading list A Probabilistic Framework for Deep Learning Semi-Supervised Learning with the Deep Rendering Mixture Model A Probabilistic Theory of Deep Learning 13:49 / 1:30:37 GAN的统计意义:统计假设检验 GAN 一定意义上成为…

维数灾难 给定如下分类问题: 其中x6和x7表示横轴和竖轴(即两个measurements),怎么分? 方法一(simple): 把整个图分成:16个格,当给定一个新的点的时候,就数他所在的格子中,哪种颜色的点最多,最多的点就是最有可能的. 如图: 显然,这种方法是有缺陷的: 例子给出的是2维的,那么3维的话,就是一个立体的空间,如下图所示: 因为我们生活在3维的世界里,所以我们很容易接受3维.比如,我们考虑一个在D维环境下,半径为1和半径为1-的球体的容积之差: 他们的差即为: volume…

String s = new String("stringette"); // Don't do this. This will create an object each time Vs String s = "stringette"; class Person { private final Date birthDate; // Other fields, methods, and constructor omitted /** * The starting a…

一个特性:低维(特征少)转向高维的过程中,样本会变的稀疏(可以有两种理解方式:1.样本数目不变,样本彼此之间距离增大.2.样本密度不变,所需的样本数目指数倍增长). 高维度带来的影响: 1.变得可分. 由于变得稀疏,之前低维不可分的,在合适的高维度下可以找到一个可分的超平面. 2.过拟合风险. 过高维度会带来过拟合的风险(会学习到数据集中的特例或异常,对现实测试数据效果较差).增加维度的线性模型等效于低维空间里较复杂的非线性分类器. 3.需要更多训练数据.我们需要更多的训练数据进行参数估计. 4…

Relevant Readable Links Name Interesting topic Comment Edwin Chen 非参贝叶斯   徐亦达老板 Dirichlet Process 学习目标:Dirichlet Process, HDP, HDP-HMM, IBP, CRM Alex Kendall Geometry and Uncertainty in Deep Learning for Computer Vision 语义分割 colah's blog Feature Visu…