• 定义、公式、模型、算法的提出;

0. 如何进行抽象,如何定义数学表达式

  • 二次衰减函数;

    • f(z)=1z2 ⇒ f(z)=11+z2
  • 噪声衰减因子:
    • 对值域的要求,单调性的要求,必须是可调的;
    • 2n1+2n,n 是正整数,则其值域为 [2/3,∞),且为单调增,随着 n 的增大,而逐渐趋于1;

1. 两个高维向量(数据点)的条件相似性

  • 条件相似性:conditional similarity

两个高维向量 xi,xj∈RN,∥xi−xj∥ 为其欧氏距离,定义二者的条件相似性:

pj|i=exp(−∥xi−xj∥2/2σ2i)∑k≠iexp(−∥xi−xk∥2/2σ2i)

进一步将其改造为对称版本:

pij=pj|i+pi|j2N

2. KL-divergence

KL-divergence 应用在两个概率分布(p, q; p_{ij}, q_{ij})之间

比如,第 1 节,我们定义了 pij,同样的我们定义另外的相似度矩阵(similarity matrix),只不过这次针对的是映射后的点,而不是原始的数据点。

qij=f(∥xi−xj∥)∑k≠if(∥xi−xk∥),withf(z)=11+z2

显然,pij 是由原始数据本身决定的,而 qij 还取决于映射函数的选择。

因此,二者的 KL-divergence 为:

KL(P||Q)=∑i,jpijlogpijqij.

KL-divergence 可以用来度量两个相似度矩阵(P,Q)的距离。

3. 神经网络模型的修改方向

  • 对目标函数进行修改:modifications in the loss function
  • 对网络结构进行修改:modifications in the network architecture

4. 泛化

在信号处理中,稀疏性频繁地应用于,求解如下最小化问题:

argminx12∥y−Ax∥22+λ∥x∥1

其中:

  • x=[x(1),⋯,x(N)]T
  • y=[y(1),⋯,y(M)]T
  • A 维度为 M⋅N

将待优化的目标函数泛化为:

argminx12∥y−Ax∥22+∑nϕ(x(n))

这里的 ϕ(⋅) 指代的就是罚函数(penalty function,或者正则函数 regularization function);

之所以一般选择 ϕ(x)=λ|x| 来激励稀疏性,与其他罚函数所不同的地方在于它是一种凸函数(convex function)。

  • 凸函数的价值在于其能比非凸函数,更易被最优化;
  • 然而,非凸罚函数更有益于稀疏信号的稀疏度的获取;

N+1:创新点的设计的更多相关文章

  1. ActiveReports 9 新功能:创新的设计分层报告

     在最新的ActiveReports 9报表控件添加了几个新功能,为了帮助您创建一个漂亮的外观在较短的时间内.强大的报表系统.本文重点讨论创新的分层设计报告,分组报告内容管理和设计,于实现报表套打 ...

  2. 创想变现:斯坦福设计创新课堂ME310分享(上篇)

    编者按:今年6月,微软亚洲研究院人机交互组研究员顾嘉唯,在美国斯坦福大学担任了d-School的ME310设计课程的项目评审.该课程是斯坦福大学的全球联合新产品设计创新课程,学习方式以小组为单位,每个 ...

  3. 张艾迪(创始人):Be.Time+Cr.Idear的创新理念

    The World No.1 Girl :Eidyzhang The World No.1 Internet Girl :Eidyzhang AOOOiA.global Founder :Eidyzh ...

  4. 全面解密QQ红包技术方案:架构、技术实现、移动端优化、创新玩法等

    本文来自腾讯QQ技术团队工程师许灵锋.周海发的技术分享. 一.引言 自 2015 年春节以来,QQ 春节红包经历了企业红包(2015 年).刷一刷红包(2016 年)和 AR 红包(2017 年)几个 ...

  5. 行业UI设计师总结UI设计8个趋势

    纵观整个设计的历史可以发现,设计的历史演变都无一例外都是从复杂的装饰性设计逐步的演化为更加注重功能性的简洁化设计.并且设计师们还在不停的试图通过各种设计语言的创新追求极至设计的可能性.设计潮流变更的核 ...

  6. 在APP开发中,如何优雅的设计APP页面

    1.明确页面设计在整个产品设计中的位置 互联网产品设计的流程大致是:产品定位——需求分析——信息架构设计——流程设计——页面框架设计——设计说明——输出设计文档.可以看到页面设计是处于整个流程的后期, ...

  7. CODING 2.0:如何通过设计给品牌创造价值?

    升级背景 伴随着 CODING 理念的全面升级,CODING 正构建起覆盖构想到交付的全覆盖工具链,用户注册即可实践敏捷开发与 DevOps,提升软件交付质量与速度. 一直以来,CODING 作为软件 ...

  8. 如何优雅的设计APP页面?

    页面框架设计只是整个产品设计中的一环,不要把眼界局限在这一环,也不要只站需求.只站在交互.只站在视觉上思考问题,从多个角度看问题,你才会学会成长. 产品设计是一个系统工程,单独拧出来其中一个流程来讲, ...

  9. 《腾讯网UED体验设计之旅》读后感

    *:first-child { margin-top: 0 !important; } body > *:last-child { margin-bottom: 0 !important; } ...

随机推荐

  1. centos7安装nginx的两种方法

    第一种方式:通过yum安装 直接通过 yum install nginx 肯定是不行的,因为yum没有nginx,所以首先把 nginx 的源加入 yum 中 运行下面的命令: 1.将nginx放到y ...

  2. [Angular Directive] Build a Directive that Tracks User Events in a Service in Angular 2

    A @Directive is used to add behavior to elements and components in your application. This makes @Dir ...

  3. freemarker自己定义标签报错(七)

    1.错误描写叙述 六月 09, 2014 11:11:09 下午 freemarker.log.JDK14LoggerFactory$JDK14Logger error 严重: Template pr ...

  4. nyoj 949哈利波特(细节题)

    哈利波特 时间限制:1000 ms  |  内存限制:65535 KB 难度:3 描写叙述 Harry 新学了三种魔法.他能够用第一种魔法把 a 克的沙子变成 b 克金属,能够用另外一种魔法把 c 克 ...

  5. 二、Reids基础命令--字符串

    11.一个字符串类型的KEY同意存储的数据的最大容量是 512MB 12.INCR 使key加1,key不存在时默认是0 . 返回递增后的值. 127.0.0.1:6379> incr num ...

  6. Qt on Android: http下载与Json解析

    百度提供有查询 ip 归属地的开放接口,当你在搜索框中输入一个 ip 地址进行搜索,就会打开由 ip138 提供的百度框应用,你能够在框内直接输入 ip 地址查询.我查看了页面请求,提取出查询 ip ...

  7. 使用oschina的gitserver

    1.概要 事实上oschina的gitserver与github的几乎相同.只是既然是中国的gitserver,那么速度应该更快一些吧 2.注冊 链接https://git.oschina.net/, ...

  8. 数据库基本查询语句(SQL常用增删改查语句 简单复习 mark)

    SQL常用增删改查语句 1增 1.1[插入单行]insert [into] <表名> (列名) values (列值)例:insert into Strdents (姓名,性别,出生日期) ...

  9. 【t062】最厉害的机器人

    Time Limit: 1 second Memory Limit: 128 MB [问题描述] [背景] Wind设计了很多机器人.但是它们都认为自己是最强的,于是,一场比赛开始了~ [问题描述] ...

  10. OpenGLES 关于 数学 的分支 - 线性变化量、离散量、随机量

    关于 数学 的分支 - 线性变化量.离散量.随机量 太阳火神的漂亮人生 (http://blog.csdn.net/opengl_es) 本文遵循"署名-非商业用途-保持一致"创作 ...