目录 凸集的基本概念 凸函数的基本概念 凸优化的一般提法 凸集基本概念 思考两个不能式 两个正数的算术平均数大于等于几何平均数 给定可逆对称阵Q,对于任意向量x,y,有: 思考凸集和凸函数 在机器学习中,我们把形如 这样的图形的都称为凸函数. \(y=x^2\)是凸函数,函数图像上位于\(y=x^2\)的区域构成凸集. 凸函数图像的上方区域,一定是凸集: 一个函数图像的上方区域为凸集,则该函数是凸函数. 直线的向量表达 已知二维平面上的两定点A(5,1),B(2,3)尝试给出经过带你AB的直线方…

机器学习入门 深度学习和机器学习? 深度学习在某种意义上可以认为是机器学习的一个分支,只是这个分支非常全面且重要,以至于可以单独作为一门学科来进行研究. 回忆知识 求解S. 对数函数的上升速度 我们使用Python简单写一段代码可以很容易获得结果.但是我们使用数学来分析: 令\(f(x)=log_ax\) 则: 那么我们需要考虑: 构造数列: 我们很容易推出: 根据前文,已经证明了数组\({a_n}\)单增有上界,因此,必有极限,记作e. 根据夹逼定理,函数极限存在,为e. 导数 简单来说,导数…

主要内容 矩阵 特征值和特征向量 矩阵求导 矩阵 SVD的提法 奇异值分解(Singular Value Decomposition)是一种重要的矩阵分解方法,可以看做对称方阵在任意矩阵上的推广. 假设A是一个\(m\times n\)阶实矩阵,则存在一个分解使得: 通常将奇异值从大到小排列,这样\(\sum\)就能由A唯一确定了. 与特征值.特征向量的概念相对应 \(\sum\)在对角线上的元素称为矩阵A的奇异值: U的第i列称为A的关于的左奇异向量: V的第i列称为A的关于的右奇异向量. 例…

姚班天才少年鬲融凭非凸优化研究成果获得斯隆研究奖 近日,美国艾尔弗·斯隆基金会(The Alfred P. Sloan Foundation)公布了2019年斯隆研究奖(Sloan Research Fellowships)获奖名单,华裔学者鬲融获此殊荣. 鬲融 2004 年从河北省保送至清华大学计算机系,是首届清华姚班毕业生,普林斯顿大学计算机科学系博士,曾在微软研究院新英格兰分部做博士后,2015年至今在杜克大学担任助理教授. 斯隆研究奖自1955年设立,每年颁发一次,旨在向物理学.化学和数…

目录 题意: 输入格式 输出格式 思路: DP凸优化的部分 单调队列转移的部分 坑点 代码 题意: 有n条超级大佬贞鱼站成一行,现在你需要使用恰好k辆车把它们全都运走.要求每辆车上的贞鱼在序列中都是连续的.每辆车上的贞鱼会产生互相怨恨的值,设a与b之间的怨恨值为G(a,b),一辆车上的贞鱼的编号从L到R,那么这辆车上的怨恨值为\(\sum_{L<=a,b<=R}G(a,b)\).注意G(a,b)=G(b,a),一对贞鱼之间的怨恨值只算一次,也就是G(a,b)和G(b,a)只算一次. 1<…

[BZOJ2654]Tree(凸优化,最小生成树) 题面 BZOJ 洛谷 题解 这道题目是之前\(Apio\)的时候写的,忽然发现自己忘记发博客了... 这个万一就是一个凸优化, 给所有白边二分一个额外权值,并且给边权加上这个权值. 然后跑最小生成树,将限制问题转换为判定问题即可. #include<iostream> #include<cstdio> #include<cstdlib> #include<cstring> #include<cmath…

本博客已经迁往http://www.kemaswill.com/, 博客园这边也会继续更新, 欢迎关注~ 在机器学习中, 很多情况下我们都需要求得一个 问题的全局最优值(global optimum). 大多数的全局最优值很难求得, 但是对于凸问题, 我们可以比较高效的找到其全局最优值, 这是由凸问题的性质决定的.我们将逐步的介绍凸集, 凸函数, 凸问题等. 1. 凸集(convex set) 对于一个集合\(C\), 如果对于任意两个元素\(x,y \in C\), 以及任意实数\(\thet…

[学习笔记]wqs二分/DP凸优化 从一个经典问题谈起: 有一个长度为 \(n\) 的序列 \(a\),要求找出恰好 \(k\) 个不相交的连续子序列,使得这 \(k\) 个序列的和最大 \(1 \leq k \leq n \leq 10^5, -10^9 \leq a_i \leq 10^9\) 先假装都会 \(1 \leq k \leq n \leq 1000\) 的 \(dp\) 做法以及 \(k = 1\) 的子问题 实际上这个问题还可以是个费用流模型: 对于序列中每一个点 \(i\)…

SVM目前被认为是最好的现成的分类器,SVM整个原理的推导过程也很是复杂啊,其中涉及到很多概念,如:凸集和凸函数,凸优化问题,软间隔,核函数,拉格朗日乘子法,对偶问题,slater条件.KKT条件还有复杂的SMO算法! 相信有很多研究过SVM的小伙伴们为了弄懂它们也是查阅了各种资料,着实费了不少功夫!本文便针对SVM涉及到的这些复杂概念进行总结,希望为大家更好地理解SVM奠定基础(图片来自网络). 一.凸集和凸函数 在讲解凸优化问题之前我们先来了解一下凸集和凸函数的概念 凸集:在点集拓扑学与欧几…

纪念合格考爆炸. 其实这个题之前就写过博客了,qwq但是不小心弄丢了,所以今天来补一下. 首先,一看到球的个数的限制,不难相当用网络流的流量来限制每个球使用的数量. 由于涉及到最大化期望,所以要使用最大费用最大流. 我们新建两个点\(ss,tt\),分别表示两种球. 那么我们现在考虑应该怎么计算期望呢. 首先,如果假设如果对于一个怪物用一个球,那么连边也就比较容易了 对于一个怪物\(x\) 我们\(ss -> x\),费用为\(p[i]\),流量为1.表示一个球在一个怪物上只能用一次. \(tt…