[原文]    浅析 Hinton 最近提出的 Capsule 计划     关于最新的 Hinton 的论文 Dynamic Routing Between Capsules,参见 https://www.zhihu.com/question/67287444/answer/251241736. 最近一次更新 17-10-11 11:00 (UTC+8).改善了一些表述,在无监督学习部分加入了'Tufas' 相关内容,以及视觉皮层的结构. 上一次更新 17-09-22 15:00 (按中国时间…

简介 我们平时所写的SQL语句本质只是获取数据的逻辑,而不是获取数据的物理路径.当我们写的SQL语句传到SQL Server的时候,查询分析器会将语句依次进行解析(Parse).绑定(Bind).查询优化(Optimization,有时候也被称为简化).执行(Execution).除去执行步骤外,前三个步骤之后就生成了执行计划,也就是SQL Server按照该计划获取物理数据方式,最后执行步骤按照执行计划执行查询从而获得结果.但查询优化器不是本篇的重点,本篇文章主要讲述查询优化器在生成执行计划之…

Hinton“深度学习之父”和“神经网络先驱”,新论文Capsule将推翻自己积累了30年的学术成果时 在论文中,Capsule被Hinton大神定义为这样一组神经元:其活动向量所表示的是特定实体类型的实例化参数.他的实验表明,鉴别式训练的多层Capsule系统,在MNIST手写数据集上表现出目前最先进的性能,并且在识别高度重叠数字的效果要远好于CNN. 该论文无疑将是今年12月初NIPS大会的重头戏. 一个月前,在多伦多接受媒体采访时,Hinton大神断然宣称要放弃反向传播,让整个人工智能从头…

深度学习课程笔记(十一)初探 Capsule Network  2018-02-01  15:58:52 一.先列出几个不错的 reference: 1. https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b 2. https://medium.com/ai%C2%B3-theory-practice-bus…

本人最近初学Hinton大神的论文<Dynamic Routing Between Capsules >,对深度神经网络的内容进行了简要总结,将观看“从传统神经网络的角度解读Capsule”视频的内容做了笔记.感谢网络资源,让我学习到很多知识.以后会有更新. 作者: 嫩芽33出处: http://www.cnblogs.com/nenya33/p/8079861.html 版权:本文版权归作者和博客园共有 转载:欢迎转载,但须保留此段声明,并在文章中给出原文连接:否则必究法律责任 ======…

本文来自http://blog.csdn.net/yihongyuelan 转载请务必注明出处 本文代码以MTK平台Android 4.4为分析对象,与Google原生AOSP有些许差异,请读者知悉. 前置文章: <Android 4.4 Kitkat Phone工作流程浅析(一)__概要和学习计划> <Android 4.4 Kitkat Phone工作流程浅析(二)__UI结构分析> <Android 4.4 Kitkat Phone工作流程浅析(三)__MO(去电)流程…

本文来自http://blog.csdn.net/yihongyuelan 转载请务必注明出处 本文代码以MTK平台Android 4.4为分析对象.与Google原生AOSP有些许差异.请读者知悉. 前置文章: <Android 4.4 Kitkat Phone工作流程浅析(一)__概要和学习计划> <Android 4.4 Kitkat Phone工作流程浅析(二)__UI结构分析> <Android 4.4 Kitkat Phone工作流程浅析(三)__MO(去电)流程…

本文来自http://blog.csdn.net/yihongyuelan 转载请务必注明出处 本文代码以MTK平台Android 4.4为分析对象,与Google原生AOSP有些许差异,请读者知悉. 前置文章: <Android 4.4 Kitkat Phone工作流程浅析(一)__概要和学习计划> <Android 4.4 Kitkat Phone工作流程浅析(二)__UI结构分析> <Android 4.4 Kitkat Phone工作流程浅析(三)__MO(去电)流程…

转载来源:http://blog.csdn.net/fengbingchun/article/details/50087005 这篇文章主要是为了对深度学习(DeepLearning)有个初步了解,算是一个科普文吧,文章中去除了复杂的公式和图表,主要内容包括深度学习概念.国内外研究现状.深度学习模型结构.深度学习训练算法.深度学习的优点.深度学习已有的应用.深度学习存在的问题及未来研究方向.深度学习开源软件. 一.            深度学习概念 深度学习(Deep Learning, DL…

2019年11月30日,2019中国人工智能产业年会重磅发布<2019人工智能发展报告>(Report of Artificial Intelligence Development 2019).清华大学计算机系副主任唐杰教授主持了报告发布仪式,九三中央科技委副主任.中国传感器与物联网产业联盟副理事长郭源生教授,日本工程院院士.中国人工智能学会名誉副理事长.日本德岛大学任副继教授及与会嘉宾共同为报告揭幕. <2019人工智能发展报告>由清华大学-中国工程院知识智能联合研究中心.中国人…

论文地址:https://arxiv.org/abs/2004.10934v1 github地址:https://github.com/AlexeyAB/darknet 摘要: 有很多特征可以提高卷积神经网络(CNN)的准确性.需要在大型数据集上对这些特征的组合进行实际测试,并需要对结果进行理论证明来验证这些特征的有效性. 某些特征仅在某些模型上运行,并且仅在某些问题上运行,或者仅在小型数据集上运行: 而某些特征(例如批归一化和残差连接)适用于大多数模型,任务和数据集. 我们假设此类通用特征包括…

YOLOv4全文阅读(全文中文翻译) YOLOv4: Optimal Speed and Accuracy of Object Detection 论文链接: https://arxiv.org/pdf/2004.10934.pdf 代码链接: https://github.com/AlexeyAB/darknet 摘要 有大量的特征被认为可以提高卷积神经网络(CNN)的精度.需要在大型数据集上对这些特征的组合进行实际测试,并对结果进行理论验证.某些功能只对某些模型进行操作,某些问题只对某些模型…

目录 概 主要内容 损失函数 代码 Sabour S, Frosst N, Hinton G E, et al. Dynamic Routing Between Capsules[C]. neural information processing systems, 2017: 3856-3866. 概 虽然11年就提出了capsule的概念, 但是走入人们视线的应该还是这篇文章吧. 虽然现阶段, capsule没有体现出什么优势. 不过, capsule相较于传统的CNN融入了很多先验知识, 更…

计划:需1周完整完成 需求分析:作为一个观众,我希望能够了解每一场的比分结果,随时跟进比赛进程 生成设计文档:暂无 设计复审:暂无与组员进行设计复审 代码规范:Visual Studio2010 具体设计: 具体编码: namespace _1{ public partial class Form1 : Form { public Form1() { InitializeComponent(); } private void button1_Click(object sender, EventA…

1.  GIS服务区分析 区位因素是商业分析中一个至关重要的因素,因此在商店选址时,例行的服务区分析十分重要.服务区是指顾客分布的主要区域,在其范围内该店的商品销售量或服务营业额超过其竞争对手.对于现有商店,通过服务区分析可以考察市场潜力,评价经营业绩:对于新店,通过分析服务区可以在竞争对手背后发掘商机,从而有利于确定最佳选址.此外,服务区分析还有助于企业确定广告覆盖的重点地区,揭示顾客较少的薄弱地段,提出企业扩张计划等等. 常见的划分服务区的方法有类比法.邻域法.重力法等几种.类比法是一种非地…

        本博客所有文章分类的总目录:[总目录]本博客博文总目录-实时更新 开源C#彩票数据资料库系列文章总目录:[目录]C#搭建足球赛事资料库与预测平台与彩票数据分析目录 前2个月,我的系列文章:C#搭建足球赛事资料库与预测平台(1) 基本介绍 ,[目录]C#搭建足球赛事资料库与预测平台与彩票数据分析目录,对足球赛事资料库平台的基本结构进行了介绍.我在文章中也提出了大概计划,一步步将这个我花了1年业余时间整理而成的数据资料库进行开放.在经过2个月的业余时间努力后,将这个代码进行了部分整理…

作业源程序代码:https://github.com/R-81/subway 作业程序使用说明:通过输入命令参数求解路线(仅支持-b,-c),根据参数得出路线后,程序不会结束,此时可输入地铁路线名(例如地铁一号线)输出此路线上所有车站名. 1)各模块开发需要消耗的时间   Personal Software Process Stages Time Planning 计划 · Estimate · 估计这个任务需要多少时间 15h Development 开发 · Analysis · 需求分析 …

排球计分程序 1.计划 通过对用户故事估计这个任务需要3~5d天. 2.开发 2.1需求分析 作为一个观众,我希望了解每场比赛的比分,以便了解比赛的情况. 作为一个观众,我希望输入球队名称查询球队比分,以便快速了解比分. 2.2生成设计文档 通过textbox填写查询球队的队名,点击查询按钮查讯结果. 通过多行文本框输出查询结果. 在查询按钮写一个查询方法. 清空按钮:编写清空方法,点击清空按钮清空文本框内容. 2.3设计复审 由小组成员讨论设计是否满足用户需求,设计的可行性,以及可能出现的问题…

四则运算编程 PSP记录个人项目耗时情况 PSP Personal Software Process Stages Time(%) Planning 计划 7 Estimate 估计这个任务需要多少时间 7 Development 开发 85 Analysis 需求分析 4 Design Spec 生成设计文档 5 Design Review 设计复审 3 Coding Standard 代码规范 4 Design 具体设计 12 Coding 具体编码 40 Code Review 代码复审…

CNN的发展史 上一篇回顾讲的是2006年Hinton他们的Science Paper,当时提到,2006年虽然Deep Learning的概念被提出来了,但是学术界的大家还是表示不服.当时有流传的段子是Hinton的学生在台上讲paper时,台下的机器学习大牛们不屑一顾,质问你们的东西有理论推导吗?有数学基础吗?搞得过SVM之类吗?回头来看,就算是真的,大牛们也确实不算无理取闹,是骡子是马拉出来遛遛,不要光提个概念. 时间终于到了2012年,Hinton的学生Alex Krizhevsky在寝…

                        PSP2.1 Personal Software Process Stages Time(min) Planning 计划 11 Estimate 估计这个任务需要多少时间 10 Development 开发 71 Analysis 需求分析 5 Design Review 设计复审 4 Coding Standard 代码规范 5 Design 具体设计 11 Coding 具体编码 37 Code Review 代码复审 8 Test 测试 1…

斯坦福课程CS224d: Deep Learning for Natural Language Processing lecture13:Convolutional neural networks -- for sentence classification 主要是学习笔记,卷积神经网络(CNN),因为其特殊的结构,在图像处理和语音识别方面都有很出色的表现.这里主要整理CNN在自然语言处理的应用和现状. 一.RNNs to CNNs 学过前面lecture的朋友,应该比较清楚.RNNs一般只能获…

PSP2.1 Personal Software Process Stage Time Planning 计划 90 ·Estimate ·估计这个任务需要多长时间 90 Development 开发 80 ·Analysis ·需求分析 15 ·Design Spec ·生成设计文档 5 ·Design Review ·设计复审 10 ·Coding Standard ·代码规范 6 ·Design ·具体设计 15 ·Coding ·具体编码 34 ·Code Review ·代码复审 8…

作业三: 代码规范.代码复审.PSP 代码规范 代码规范的重要性 一.规范的代码可以促进团队合作  一个项目大多都是由一个团队来完成,如果没有统一的代码规范,那么每个人的代码必定会风格迥异.且不说会存在多个人同时开发同一模块的情况,即使是分工十分明晰的,等到要整合代码的时候也有够头疼的了.大多数情况下,并非程序中有复杂的算法或是复杂的逻辑,而是去读别人的代码实在是一件痛苦的事情.统一的风格使得代码可读性大大提高了,人们看到任何一段代码都会觉得异常熟悉.显然的,规范的代码在团队的合作开发中是非常有…

PSP个人项目耗时对比记录表:四则运算   Personal Software Process Stages Time(%) Planning 7  Estimate 9 开发 76    •需求分析  6    •生成设计文档  7    •设计复审(和同事审核设计文档)  6    •代码规范(为目前的开发制定合适的规范)  9    •具体设计  23    •具体编码 86    •代码复审  21    •测试(自测,修改代码,提交修改)  20 报告 55    •测试报告  25…

这是HInton课程第13课,这一课有两篇论文可以作为课外读物<Connectionist learning of belief networks>和<The wake-sleep algorithm for unsupervised neural networks>,(下文中采样和样本是同一个单词,泛化和生成是同一个单词,我是按照自己的理解在不同的上下文中进行不同的翻译,如果一个理解不通,可以换另一个). 一.BP算法的Ups和downs 在这部分,将会介绍BP的历史,先介绍在7…

接opencv6.1-imgproc图像处理模块之平滑和形态学操作,顺带说一句在opencv中的in-place操作就是比如函数的输入图像和输出图像两个指针是相同的,那么就是in-place操作了.比如很多函数支持目标图像和原图像是同一个内存区域. 三.图像的失真缩放 采用 pyrUp 和 pyrDown 对图像进行向上和向下采样来达到图像放大和缩小的目的.在这其中的操作是失真操作,所以放大的时候会模糊很多.在这里顺带补上opencv中真正的缩放函数resize(). 这两个函数又叫做上采样和下…

2016年11月30日13:22:26[转] CTO.技术总监.首席架构师的区别 提升自已的能力,比如专业技术,行业发展趋势,技术发展趋势,协调能力,组织能力,管理能力等[技术总监] 需要从技术总监和研发Leader身上剥离职责.让技术总监和研发Leader偏项目管理(管理族),把各个模块之间的架构设计工作,独立出一个岗位,就是架构师,来负责.[首席架构师] 真正的CTO,是软件产品和技术是统一管理的.商业.产品.技术.管理.团队相平衡的综合统管[首席技术官CTO] 一.高级程序员 如果你是一个…

Logistic回归.传统多层神经网络 1.1 线性回归.线性神经网络.Logistic/Softmax回归 线性回归是用于数据拟合的常规手段,其任务是优化目标函数:$h(\theta )=\theta+\theta_{1}x_{1}+\theta_{2}x_{2}+....\theta_{n}x_{n}$ 线性回归的求解法通常为两种: ①解优化多元一次方程(矩阵)的传统方法,在数值分析里通常被称作”最小二乘法",公式$\theta=(X^{T}X)^{-1}X^{T}Y$ ②迭代法:有一阶导数…

起源:Boltzmann神经网络 Boltzmann神经网络的结构是由Hopfield递归神经网络改良过来的,Hopfield中引入了统计物理学的能量函数的概念. 即,cost函数由统计物理学的能量函数给出,随着网络的训练,能量函数会逐渐变小. 可视为一动力系统,其能量函数的极小值对应系统的稳定平衡点. Hinton发明的Boltzmann中乘热打铁,对神经元输出引入了随机概率重构的概念.其想法来自于模拟退火算法: 首先在高温下进行搜索,由于此时各状态出现概率相差不大,系统可以很快进入“热平衡状…