本博客已经迁往http://www.kemaswill.com/, 博客园这边也会继续更新, 欢迎关注~ 在机器学习中, 很多情况下我们都需要求得一个 问题的全局最优值(global optimum). 大多数的全局最优值很难求得, 但是对于凸问题, 我们可以比较高效的找到其全局最优值, 这是由凸问题的性质决定的.我们将逐步的介绍凸集, 凸函数, 凸问题等. 1. 凸集(convex set) 对于一个集合\(C\), 如果对于任意两个元素\(x,y \in C\), 以及任意实数\(\thet

以下笔记参考自Boyd老师的教材[Convex Optimization]. I. Mathematical Optimization 1.1 定义 数学优化问题(Mathematical Optimization) 有如下定义: \[ \begin{align} &minimize \, f_0(x) \notag \\ &subject \, to \, f_i(x)≤b_i, \, i=1,...,m \tag{1.1} \end{align} \] 向量\(x=(x_1,...,x

凸优化理论 Convex Optimization 清华大学出版社 王书宁许窒黄晓霖译 Stephen Boyd Lieven Vandenbergt原著 2013 年l 月第1 版 下载链接 链接:http://pan.baidu.com/s/1nvRaqfv 密码:mjab 或者可以 :http://www.pandaroll.cn/downloads/tyh.pdf

(CODE) Low-Rank Matrix Recovery and Completion via Convex Optimization 这个是来自http://blog.sina.com.cn/s/blog_631a4cc401012wah.html这个链接,我这里借用下,这个博客有个小小的问题,我更新域名后可以打开,这里记录一下,也分享一下. 如第一个zip文件的地址是http://perception.csl.uiuc.edu/matrix-rank/Files/inexact_alm

A Convex Optimization Framework for Active Learning Active learning is the problem of progressively selecting and annotating the most informative unlabeled samples, in order to obtain a high classification performance. 目前AL方法存在的问题有: 1.大部分AL算法在预训练分类器之

##凸优化总结所有这些想法基本是来自于书籍[convex optimization](http://book.douban.com/subject/1888111/),主要包括凸优化的基本理论,主要的优化算法.凸优化的基本理论包括凸优化的基本定义,以及KKT条件.###优化问题的定义优化问题的基本定义如下:$$ argmin_x \space f_0(x) $$$$ s.t. \space f_i(x) \le 0 \space i=1, ..., m $$$$ h_i(x) = 0 $$在这里

CMU凸优化笔记--凸集和凸函数 结束了一段时间的学习任务,于是打算做个总结.主要内容都是基于CMU的Ryan Tibshirani开设的Convex Optimization课程做的笔记.这里只摘了部分内容做了笔记,很感谢Ryan Tibshirani在官网中所作的课程内容开源.也很感谢韩龙飞在CMU凸优化课程中的中文笔记,我在其基础上做了大量的内容参考.才疏学浅,忘不吝赐教. 1.凸集合 1.1 基本概念 定义:给定一个集合$C \subseteq \mathbb{R}^n $,满足下列条件

J. N. Tsitsiklis and Z.-Q. Luo, "Communication complexity of convex optimization," Journal of Complexity, vol. 3, no. 3, pp. 231–243, Sep. 1987, doi: 10.1016/0885-064x(87)90013-6. 问题描述 两个用户各自有一个凸函数\(f_i\),相互交互最少的二进制消息,从而找到\(f_i+f_2\)的最优点 基本定义 \(

I. 仿射凸集(Affine and convex sets) 1. 线与线段 假设\(R^n\)空间内两点\(x_1,x_2\, (x_1≠x_2)\),那么\(y=\theta x_1+(1-\theta)x_2, \theta∈R\)表示从x1到x2的线.而当\(0≤\theta≤1\)时,表示x1到x2的线段. 2.仿射集 仿射集(Affine sets) 定义: 假设有一个集合\(C∈R^N\),如果通过集合C中任意两个不同点之间的直线 (上的任何点) 仍在集合C中,那么称集合C是仿射

zh.wikipedia.org/wiki/凸優化 以下问题都是凸优化问题,或可以通过改变变量而转化为凸优化问题:[5] 最小二乘 线性规划 线性约束的二次规划 半正定规划 Convex function Convex minimization is a subfield of optimization that studies the problem of minimizing convex functions over convex sets. The convexity makes opt

最自然的学习规则是使用任何在过去回合中损失最小的向量. 这与Consistent算法的精神相同,它在在线凸优化中通常被称为Follow-The-Leader,最小化累积损失. 对于任何t: 我们谈到了能最小化累计损失不能说明此算法在在线学习场景是有效,我们需要探究算法的 Regret bound: 采用归纳法证明: 例子1:Online Quadratic Optimization 例子2:Online Linear Optimization 未完,待续...... 下一节将讲述FTRL算法

一些在线预测问题可以转化到在线凸优化框架中.下面介绍两种凸化技术: 一些在线预测问题似乎不适合在线凸优化框架.例如,在线分类问题中,预测域(predictions domain)或损失函数不是凸的.我们描述了两种凸化技术,它们允许我们在其他场景中使用在线凸优化框架. 1.Convexification by Randomization 为了演示randomization技术,我们考虑一个专家建议的预测问题:每个在线回合中,学习者必须从d位给定专家的建议中进行选择. 表示选到的专家,然后学习机收到

最近的看的一些内容好多涉及到凸优化,没时间系统看了,简单的了解一下,凸优化的两个基本元素分别是凸函数与凸包 凸集 凸集定义如下: 也就是说在凸集内任取两点,其连线上的所有点仍在凸集之内. 凸函数 凸函数的定义如下: $\theta x+(1-\theta)y$的意思就是说在区间 $(x,y)$ 之间任取一点 $y – \theta(y-x)$ 即为 $\theta x+(1-\theta)y$ , 凸函数的几何意义表示为函数任意两点的连线上的取值大于该点在函数上的取值,几何示意图形如下: 凸函数

近年来,许多有效的在线学习算法的设计受到凸优化工具的影响. 此外,据观察,大多数先前提出的有效算法可以基于以下优雅模型联合分析: 凸集的定义: 一个向量 的Regret定义为: 如前所述,算法相对于竞争向量的集合U的Regret被定义为: 备注: 在线凸优化问题中,学习机的预测应该来自集合S,而我们分析关于集合U的Regret.当我们不指定U时,我们默认U=S.另外,S的默认设置将是. 未完,待续...... 接下来,我们从凸化技术开始,展示了如何在非凸问题中利用在线凸优化框架.然后,我们开始描

紧接上文,我们讲述在线分类问题 令,为0-1损失,我们做出如下的简化假设: 学习者的目标是相对于hypotheses set: H具有low regret,其中H中的每个函数是从到{0,1}的映射,并且regret被定义为: 我们首先证明这是一个不可能完成的任务——如果,没有算法可以获得次线性regret bound.考虑,是一个总是返0的函数,是一个总是返1的函数.通过简单地等待学习者的预测然后提供相反的答案作为真实答案,攻击者可以使任何在线算法的错误数等于T.相反,对于任何真实答案序列,令b

开启一个在线学习和在线凸优化框架专题学习: 1.首先介绍在线学习的相关概念 在线学习是在一系列连续的回合(rounds)中进行的: 在回合,学习机(learner)被给一个question:(一个向量,即为特征向量),为从instance domain:采样得到的.学习机给出一个预测值:,然后得到正确的答案:,从target domain:采样得到,定义损失函数为.在大多数情况下,在中,但是,允许学习者从更大的集合中选择预测有时很方便,我们用D表示prediction domain.下图展示了在

最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下: Free Online Books  by Yoshua Bengio, Ian Goodfellow and Aaron Courville Neural Networks and Deep Learning42 by Michael Nielsen Deep Learning27 by Microsoft Research Deep Learning Tutorial23 by LISA lab, University

https://www.quora.com/How-do-I-learn-machine-learning-1?redirected_qid=6578644   How Can I Learn X? Learning Machine Learning Learning About Computer Science Educational Resources Advice Artificial Intelligence How-to Question Learning New Things Lea

https://www.quora.com/How-do-I-learn-mathematics-for-machine-learning   How do I learn mathematics for machine learning? Promoted by Time Doctor Software for productivity tracking. Time tracking and productivity improvement software with screenshots