Newton's method 分析
大家都知道对于合理的函数和合理的值域牛顿迭代法是二次收敛(quadratic covergence)的(收敛速度定义见 https://en.wikipedia.org/wiki/Rate_of_convergence ).当然合理的函数是什么函数呢..?似乎需要f'平滑且f'(root)!=0..然而这个界其实不太靠谱啦..总有人觉得对于任意函数都有quadratic convergence..(最典型的代表像我..)那么我们现在来分析一个bound出来..
给定一个大部分地方可导的函数f(x)[我们的要求是至少对于牛顿迭代不会失败],我们设\(f(\alpha)=0\),选择一个初始值\(x_0\).我们发现,对于寻求函数\(f(x)=x^2\)的根已经不是二次收敛了,究其原因是因为\(f'(\alpha=0)=0\).我们做一个合理的假设\(f'(\alpha)\not=0\),设\(f'(\alpha)=t\).一个合理的区间\([a,b]\)需要\(\alpha\in [a,b]\)且\(x\in [a,b],f(x)\)单增.为什么要这么做是因为这种区间可以通过多点求值与求导求解得到.
现在我们观察:
\[
\begin{align*}
y_t &= f(x_t) \\
z_t &= f'(x_t) \\
x_1 &= x_0 - \frac{y_0}{z_0} \\
y_1 &\le y_0-(x_0-x_1)z_1 \\
&= y_0 - \frac{y_0}{z_0}z_1 \\
&= y_0\left( 1-\frac{z_1}{z_0} \right) \\
& \vdots \\
y_t &\le y_{t-1}\left( 1-\frac{z_t}{z_{t-1}} \right)
\end{align*}
\]
注意到我们有\(y_t\ge 0\),那么我们再给公式合起来:
\[
\begin{align*}
q_t &= \frac{z_t}{z_{t-1}} \\
y_t &= y_{t-1}(1-q_t) \\
\frac{y_t}{y_0} &= \prod^{t}_{i=1}(1-q_t) \\
\frac{z_t}{z_0} &= \prod^{t}_{i=1}q_t
\end{align*}
\]
现在我们给这个斜率加上一个bound,使得\(\frac{z_t}{z_0}=k\),每个\(z_i \in (0,1)\),我们可以发现\(\frac{y_t}{y_0}\le \left( 1-\sqrt[t]{k} \right)^t\)
这就是最后的结果啦..谁给我提供一个这个式子的简化啊TAT..
Newton's method 分析的更多相关文章
- 牛顿方法(Newton's Method)
在讲义<线性回归.梯度下降>和<逻辑回归>中我们提到可以用梯度下降或梯度上升的方式求解θ.在本文中将讲解另一种求解θ的方法:牛顿方法(Newton's method). 牛顿方 ...
- Newton's Method
在求最优解时,前面很多地方都用梯度下降(Gradient Descent)的方法,但由于最优步长很难确定,可能会出现总是在最优解附近徘徊的情况,致使最优解的搜索过程很缓慢.牛顿法(Newton's M ...
- 牛顿法(Newton's Method)
Newton's Method 在求最优解时,前面很多地方都用梯度下降(Gradient Descent)的方法,但由于最优步长很难确定,可能会出现总是在最优解附近徘徊的情况,致使最优解的搜索过程很缓 ...
- 牛顿迭代法(Newton's Method)
牛顿迭代法(Newton's Method) 简介 牛顿迭代法(简称牛顿法)由英国著名的数学家牛顿爵士最早提出.但是,这一方法在牛顿生前并未公开发表. 牛顿法的作用是使用迭代的方法来求解函数方程的根. ...
- Jacobian矩阵、Hessian矩阵和Newton's method
在寻找极大极小值的过程中,有一个经典的算法叫做Newton's method,在学习Newton's method的过程中,会引入两个矩阵,使得理解的难度增大,下面就对这个问题进行描述. 1, Jac ...
- 【cs229-Lecture4】Newton’s method
之前我们在求Logistic回归时,用的是梯度上升算法,也就是要使得似然函数最大化,利用梯度上升算法,不断的迭代.这节课引出牛顿方法,它的作用和梯度上升算法的一样的,不同的是牛顿方法所需的迭代次数更少 ...
- 牛顿迭代法(Newton's Method)
牛顿迭代法(Newton's Method) 简介 牛顿迭代法(简称牛顿法)由英国著名的数学家牛顿爵士最早提出.牛顿法的作用是使用迭代的方法来求解函数方程的根.简单地说,牛顿法就是不断求取切线的过程. ...
- Logistic Regression and Newton's Method
Data For this exercise, suppose that a high school has a dataset representing 40 students who were a ...
- Matlab Newton‘s method
定义函数 function y=f(x) y=f(x).%函数f(x)的表达式 end function z=h(x) z=h(x).%函数h(x)的表达式 end 主程序 x=X;%迭代初值 i=0 ...
随机推荐
- linux swap 分区那点事儿
前言 前段时间在用程序对较大数据进行处理时,发现自己电脑原有内存不够用而经常行卡死,于是想到了利用swap分区来扩容内存的方式.现在做一个简要的总结: swap分区的概念 初试swap分区是在进入实验 ...
- 面向移动设备的html5开发框架
很久以前整理了篇将手机网站做成手机应用的JS框架.时隔一年多,很多新的技术已经出现,下面再来总结下还有哪些框架是适合面向手机设备的开发的. 1.jQuery Mobile jQuery Mobile ...
- JSP之WEB服务器:Apache与Tomcat的区别 ,几种常见的web/应用服务器
注意:此为2009年的blog,注意时效性(针对常见服务器) APACHE是一个web服务器环境程序 启用他可以作为web服务器使用 不过只支持静态网页 如(asp,php,cgi,jsp)等 ...
- 2424: [HAOI2010]订货
2424: [HAOI2010]订货 Time Limit: 10 Sec Memory Limit: 128 MBSubmit: 922 Solved: 642[Submit][Status][ ...
- Git的Patch功能
转自:http://www.cnblogs.com/y041039/articles/2411600.html UNIX世界的软件开发大多都是协作式的,因此,Patch(补丁)是一个相当重要的东西,因 ...
- iis6403、 iis7403.14
iis6ie显示:您无权查看该网页,http错误403-禁止访问.chorme显示:Directory Listing Denied iis7显示:403.14-Forbidden Web 服务器被配 ...
- Windows Iot:让Raspberry Pi跑起来(1)
首先请大家原谅我的"不务正业",放着RabbitHub不写,各种系列的文章不写搞什么Iot,哈哈,最近心血来潮想搞个速度极快的遥控车玩,望着在角落的Raspberry Pi恶狠狠的 ...
- Android开发自学笔记(Android Studio)—4.3ImageView及其子类
一.引言 ImageView继承自View组件,主要功能用来显示图片,实际上他能显示的不仅是图片,Drawable对象都可以用ImageView来显示. ImageView派生了ImageButton ...
- 【Python】[面性对象编程] 获取对象信息,实例属性和类属性
获取对象信息1.使用isinstance()判断class类型2.dir() 返回一个对象的所有属性和方法3.如果试图获取不存在的对象会抛出异常[AttributeError]4.正确利用对象内置函数 ...
- 使用Fragment创建灵活的用户界面
什么是Fragment Fragment的作用像Activity一样,主要用于呈现用户界面,它依附于Activity存在,但比Activity更灵活. 当我们需要创建动态的,多面板 ...