今天和大家分享coursera-NTU-機器學習基石(Machine Learning Foundations)-作业三的习题解答。笔者在做这些题目时遇到非常多困难,当我在网上寻找答案时却找不到,而林老师又不提供答案,所以我就想把自己做题时对题目怎样思考的写下来,为大家提供一些思路。当然,我对题目的理解不一定是正确的,假设各位博友发现错误请及时留言联系。谢谢!再次提醒:请不要以此博客作为通过考试的用途,还是更好学习、理解课程的途径!

希望我的博客对您的学习有所帮助!

本文出处:http://blog.csdn.net/a1015553840/article/details/51103628

其它作业解析请看汇总贴:http://blog.csdn.net/a1015553840/article/details/51085129

第三次作业林老师主要讲了四大块内容:

1.线性回归(Linear Regression):线性回归方程 。错误计算方法为square error。參数w计算方法。pseudo-inverse,线性回归实现步骤等

2.逻辑回归(Logistic Regression):逻辑回归理论,错误计算方法cross entropy error。梯度下降法求最优解并推到逻辑回归的梯度下降公式

3.线性模型(Linear Model for Classification):证明了线性回归和逻辑回归也能用于线性分类(VC bound),随机梯度下降法(Stochstic)。多类别分类OVA,OVO

4.非线性转化(Noliear Transformation):介绍了怎样把低维空间内的高次曲线化为高纬空间内的线性分类,并说明他的局限性(转换代价大)

1.第一题

(1)题意:在目标函数f上加入噪声epsilon,噪声强度为sigma^2。Ein的计算公式也已经给出。

求给定sigma=0.1。d=8时。能使Ein大于0.008的最小样本数N

(2)分析:这是一道非常普通的计算题,把值带入计算能够了

(3)答案:100

2.第二题

(1)题意:hat marix H的定义已经给出,求五项陈述哪些是正确的

(2)分析:老师在上课的时候说过H的作用是将y从N维空间投影到X召开得到的d+1维度空间上。(I-H)是指y与展开平面的垂直距离。对角线trace(I-H) = N-(d+1)

a.H是半正定的。正确。理由博主也不知道

b.H是可逆的,错误。博主个人认为是错的

c.H的一些特征值可能大于1。错误。半正定矩阵的特征值小于等于1

d.个人认为是正确的。

trace(I-H)=N-(d+1)

e.正确。由于H的作用是把y投影到hat y,那么无论投影几次都是不变的

(3)答案:none of above

3.第三题

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

(1)题意:求以下哪个式子是题中式子的上限?

(2)分析:做出这六个Error的图例如以下所看到的

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

能够看到,仅仅有第五个是他的上限

(3)答案:max(0,1-ywx)  ^ 2

4.第四题

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

(1)题意:下列哪些不是对w到处可微的

(2)分析:非常显然,max(0,-ywx)在0出不是可微的。左导数为-1。右导数为0

(3)答案:最后一项

(1)题意:利用随机梯度下降法计算下列错误函数。忽略个别不可微的点,以下哪个结果是PLA

(2)分析:

(3)答案: max(0,-ywx)

6.第六题

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

(1)题意:求E在(0,0)附近的梯度

(2)分析:非常easy。分别求E对u。v的偏倒数,然后将(0,0)带入就可以

(3)答案:(-2,0)

7.第七题

(1)题意:利用上面的梯度下降公式。从(0,0)開始迭代,步长为0.01,求迭代五次后的错误E

(2)分析:这个太简单了,随便用C或者MATLAB写个算法就能够了。博主这里就不再累述

(3)答案:2.825

8.第八题

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

(1)题意:这里讲的是二元泰勒展开

(2)分析:二元泰勒展开公式为http://wenku.baidu.com/link?

url=TFtNo_C9OV4MqsshuXz6yfMnjf-2A4-94zMsSS5qYepqhniR2aL6UbN3yjsCrMdFPY4_Zt2andPoxV0GII3b3QjBom1Xdmb-8cZyUgv-A3S

带入计算就可以。

注意与各项的相应关系。

(3)答案:(1.5,4,-1,-2,0,3)

9.第九题

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

(1)题意:利用Hessian Matrix计算牛顿方向

(2)分析:Hessian Matrix见http://baike.baidu.com/link?url=zCgekuYg4ViCDXyjWlpQZPEfGXZoUGl7bP8lpe_N6ww7bSeLqyyIKdUORTVaBdjw9KBhIXJmCmL2s5ZDEIb2y_

Newton迭代见http://blog.csdn.net/luoleicn/article/details/6527049

(3)答案:第一项

10.第十题

(1)题意:利用牛顿迭代求迭代五次后E值

(2)分析:我们已经从第9题知道了牛顿方向,自己用MATLAB写一个简单的实现就能够了,这里就不再累述

(3)答案:2.361   (能够看到,牛顿迭代五次为2.361,梯度下降五次为2.825,说明牛顿迭代更快!

)

11.第十一题

(1)题意:求可以被全部二次+一次曲线shatter的最小x的集合

(2)分析:

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

利用途中六条线能够轻松shatter

(3)答案:x1,x2,x3,x4,x5,x6

12.第十二题

(1)题意:利用上面的式子将d维度的X空间转换为Z空间。求转换后的d_vc

(2)分析:增加X有N个点。则每个点利用[x = xn]都能转化为一个维度的z,那么转换后终于得到的Z空间的维度为N。

我们要做的是在Z空间进行二元分类,因为我们曾经课程t推导过,d为空间的感知机(perceptrons)的d_vc = d+1。那么Z空间得到的d_vc = N +1 。那么对于随意N个点都是能够被shatter的。故N取随意大,d_ve = N+1,随意大的N都是能够被shatter的,所以d_vc = 无穷

(3)答案:无穷

第十三题到第十五题的C++实现请看:http://blog.csdn.net/a1015553840/article/details/51085094

16.第十六题

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

(1)题意:这道题说的是多元逻辑回归的代价函数推导。

(2)分析:这道题笔者也不太懂。然后在百度上查找资料。国内站点上好像没有太多写多元逻辑回归的文章。所以我在一个国外的站点上找到了相关资料,然而并没有看到推导过程。网址为:http://blog.datumbox.com/machine-learning-tutorial-the-multinomial-logistic-regression-softmax-regression/ 。他是依据吴恩达的那套理论做的。当中J(theta)就是我们这里所说的Ein。

(3)答案:第二项

17.第十七题

(1)题意:这道题的意思是我们从16中知道了Ein的计算方法,就他对wi的偏导数

(2)分析:求导就可以

(3)答案:第四项

18. 第18-20题的C++实现请看:http://blog.csdn.net/a1015553840/article/details/51085835

本文出处:http://blog.csdn.net/a1015553840/article/details/51103628

其它问题解答请看汇总贴:http://blog.csdn.net/a1015553840/article/details/51085129

機器學習基石(Machine Learning Foundations) 机器学习基石 作业三 课后习题解答的更多相关文章

  1. 機器學習基石(Machine Learning Foundations) 机器学习基石 课后习题链接汇总

    大家好,我是Mac Jiang,非常高兴您能在百忙之中阅读我的博客!这个专题我主要讲的是Coursera-台湾大学-機器學習基石(Machine Learning Foundations)的课后习题解 ...

  2. 機器學習基石(Machine Learning Foundations) 机器学习基石 作业四 Q13-20 MATLAB实现

    大家好,我是Mac Jiang,今天和大家分享Coursera-NTU-機器學習基石(Machine Learning Foundations)-作业四 Q13-20的MATLAB实现. 曾经的代码都 ...

  3. 機器學習基石 (Machine Learning Foundations) 作业1 Q15-17的C++实现

    大家好,我是Mac Jiang.今天和大家分享Coursera-台湾大学-機器學習基石 (Machine Learning Foundations) -作业1的Q15-17题的C++实现. 这部分作业 ...

  4. 機器學習基石 机器学习基石 (Machine Learining Foundations) 作业2 Q16-18 C++实现

    大家好,我是Mac Jiang,今天和大家分享Coursera-NTU-機器學習基石(Machine Learning Foundations)-作业2 Q16-18的C++实现.尽管有非常多大神已经 ...

  5. 機器學習基石 机器学习基石(Machine Learning Foundations) 作业2 第10题 解答

    由于前面分享的几篇博客已经把其他题的解决方法给出了链接,而这道题并没有,于是这里分享一下: 原题: 这题说白了就是求一个二维平面上的数据用决策树来分开,这就是说平面上的点只能画横竖两个线就要把所有的点 ...

  6. 機器學習基石 机器学习基石(Machine Learning Foundations) 作业1 习题解答 (续)

    这里写的是  习题1 中的    18 , 19, 20 题的解答. Packet 方法,我这里是这样认为的,它所指的贪心算法是不管权重更新是否会对train data有改进都进行修正,因为这里面没有 ...

  7. 【Machine Learning】机器学习及其基础概念简介

    机器学习及其基础概念简介 作者:白宁超 2016年12月23日21:24:51 摘要:随着机器学习和深度学习的热潮,各种图书层出不穷.然而多数是基础理论知识介绍,缺乏实现的深入理解.本系列文章是作者结 ...

  8. 【原】Coursera—Andrew Ng机器学习—课程笔记 Lecture 17—Large Scale Machine Learning 大规模机器学习

    Lecture17 Large Scale Machine Learning大规模机器学习 17.1 大型数据集的学习 Learning With Large Datasets 如果有一个低方差的模型 ...

  9. 【Machine Learning】机器学习の特征

    绘制了一张导图,有不对的地方欢迎指正: 下载地址 机器学习中,特征是很关键的.其中包括,特征的提取和特征的选择.他们是降维的两种方法,但又有所不同: 特征抽取(Feature Extraction): ...

随机推荐

  1. 【SpringMVC】一次处理项目中文乱码的经历

    一次处理项目中文乱码的经历 背景 今天把旧服务器上的项目转移到新服务器上,结果返回的json中的中文乱码了,觉得很奇怪,因为新服务器和旧服务器都是TX云,也不会有太大区别呀,于是乎开始了为期半天的蛋疼 ...

  2. Requirejs快速使用

    Requirejs是一个简单,实用,强大的前端模块化js库,它遵循AMD这一客户端模块定义规范,使用它能够使我们前端代码更加清晰高效加载,摆脱了以前前端代码杂乱无序的状态. 使用步骤如下: 1.下载r ...

  3. Spring和依赖注入的价值

    javaeye上看到有帖子,置疑spring和依赖注入的价值,回复内容整理如下: 依赖注入对设计有利,而spring则促进了依赖注入的使用. 如果业务处理类,它所使用的倚赖,都是依靠在这个类内部实现或 ...

  4. UML动态模型(顺序图、协作图、状态图)

    顺序图:用来表示用例中的行为顺序,当执行一个用例行为时,顺序图中的每条信息 对应了一个类操作或状态机中引起转换的事件.顺序图展示对象之间的交互,这些交互是指在场景或用例的时间六中发生的,顺序图属于动态 ...

  5. 【区间dp】【记忆化搜索】UVALive - 3516 - Exploring Pyramids

    f(i,j)=sum(f(i+1,k-1)*f(k,j) | i+2<=k<=j,Si=Sk=Sj). f(i+1,k-1)是划分出第一颗子树,f(k,j)是划分出剩下的子树. #incl ...

  6. [BZOJ4304]/[JZOJ3486]道路改建

    题目大意: 给你一个有向图,你可以把其中某一条单向边改成双向边,使得图中最大的SCC最大. 问SCC最大能是多少,有哪些方案? 思路: 对原图缩点后就变成了一个DAG. 我们在DAG上DP,记录一下从 ...

  7. Java学习笔记(9)

    final关键字;  (修饰符) final关键字的用法: final关键字修饰一个基本类型的变量时,该变量不能重新赋值,第一次的值为最终的. final关键字修饰一个引用类型变量时,该变量不能重新指 ...

  8. 消除Xcode 5中JosnKit类库的bit masking for introspection of objective-c 警告

    Xcode 5中苹果对多个系统框架及相关类库进行了改进.之前建立的项目在Xcode 5中重新编译会产生一些新问题. JosnKit是常用的轻量级Josn解析类,在Xcode 5中: BOOL work ...

  9. Setup JIRA Service Desk 3.9.2 on Oracle Linux 6.8

    OS Oracle Linux 6.8 V138414-01.iso Database mysql5.6.30 MySQL-5.6.30-1.el6.x86_64.rpm-bundle.tar JIR ...

  10. 【java】LIst切割----划分 List为几个LIst的几种工具类 1.按照目标份数划分 2.按照目标容量划分 【适用场景:mybatis分批次In查询,放置In拼接sql过长】

    如题,示例代码如下: /** * 1> 按照份数---划分list * @param source * @param num 想要划分成多少份 * @return */ public stati ...