这篇博客针对的AndrewNg在公开课中未讲到的,线性回归梯度下降的学习率进行讨论,并且结合例子讨论梯度下降初值的问题. 线性回归梯度下降中的学习率 上一篇博客中我们推导了线性回归,并且用梯度下降来求解线性回归中的参数.但是我们并没有考虑到学习率的问题. 我们还是沿用之前对于线性回归形象的理解:你站在山顶,环顾四周,寻找一个下山最快的方向走一小步,然后再次环顾四周寻找一个下山最快的方向走一小步,在多次迭代之后就会走到最低点.那么在这个理解中,学习率其实是什么呢?学习率就是你走的步子有多长. 所以

cost function 加一个正则项的原因是防止产生过拟合现象.正则项有L1,L2 等范数,我看过讲的最好的是这个博客上的:机器学习中的范数规则化之(一)L0.L1与L2范数.看完应该就答题明白了. 这里我们说一下线性回归中L2范数的应用.假设我们的与各维度变量(这里每一个样本只有一维x)关系的模型是:,表示是模型根据各维度变量预测的.    注意这个模型表明我们这里假设与各维度变量的关系不是线性的,如果是线性的那么就是h(X)=ax1+bx2+-,样本每一维都是一次平方,然后叠加,这里只有

css中字间距调整 (2014-01-02 13:51:07) 标签: 汉字 英文 间距 letter-spacing word-spacing 杂谈 分类: 网页制作 汉字间字间距设置:letter-spacing 英文间字间距设置:word-spacing Photoshop文字行距.字距调整小技巧 (2014-01-02 13:57:51) 标签: photoshop 文字行距 调整 技巧 杂谈 分类: 网页设计 今天在网上看到一个关于photoshop调整字距和行距的小技巧,这个技巧很基

调整 swap 空间之前,需要了解下面几个基本操作: 1. swap 空间是根据 /etc/fstab 中的记录挂载的 2. 可以使用 swapoff 临时关闭 swap 空间,同时可以使用 swapon 来打开 swap 空间 具体步骤: 1. 用 free 查看 swap 空间,如果有在使用 swap 空间,使用 swapoff -a 来关闭 2. 使用fdisk 来创建(n)新的主分区,并更改 type (t)为 swap (type code:82) 3. 使用 mkswap 在目标区域

Eclipse中代码编辑背景颜色修改:代码编辑界面默认颜色为白色.对于长期使用电脑编程的人来说,白色很刺激我们的眼睛,所以改变workspace的背景色,可以使眼睛舒服一些.设置方法如下:1.打开window / Preference,弹出Preference面板 2.展开General标签,选中Editors选项,展开. 3.选中 Text Editors,右边出现TestEditors面板. 面板中有这样一个选项:Appearance color options:其中是各种板块颜色的设置,其

Eclipse中代码编辑背景颜色修改: 代码编辑界面默认颜色为白色.对于长期使用电脑编程的人来说,白色很刺激我们的眼睛,所以改变workspace的背景色,可以使眼睛舒服一些.设置方法如下: 1.打开window / Preference,弹出Preference面板  2.展开General标签,选中Editors选项,展开.  3.选中 Text Editors,右边出现TestEditors面板. 面板中有这样一个选项:Appearance color options:其中是各种板块颜色的

Eclipse中代码编辑背景颜色修改: 代码编辑界面默认颜色为白色.对于长期使用电脑编程的人来说,白色很刺激我们的眼睛,所以改变workspace的背景色,可以使眼睛舒服一些.设置方法如下: 1.打开window / Preference,弹出Preference面板  2.展开General标签,选中Editors选项,展开.  3.选中 Text Editors,右边出现TestEditors面板. 面板中有这样一个选项:Appearance color options:其中是各种板块颜色的

1.打开window / Preference,弹出Preference面板 2.展开General标签,选中Editors选项,展开. 3.选中 Text Editors,右边出现TestEditors面板. 面板中有这样一个选项:Appearance color options:其中是各种板块颜色的设置,其中有一项是background color,勾掉System Default,点击'color',弹出颜色选择面板,选择喜好的颜色,单击确定. 注:背景颜色眼科专家推荐:色调85,饱和度,

Eclipse中代码编辑背景颜色修改: 1.打开window / Preference,弹出Preference面板  2.展开General标签,选中Editors选项,展开.  3.选中 Text Editors,右边出现TestEditors面板. 面板中有这样一个选项:Appearance color options:其中是各种板块颜色的设置,其中有一项是background color,勾掉System Default,点击'color',弹出颜色选择面板,选择喜好的颜色,单击确定.

今天用到canvas元素,发现它的大小不是像普通dom元素一样,直接设置css样式可以改变的,它会由自己原本的大小伸缩. 例如, <canvas id='canvas'></canvas> 1.如果直接在canvas元素中添加style='width:300px;height:300px',这会导致伸缩,如图 2.换种方式在css样式表中加入样式设置宽高产生的效果也是一样的. 3.在js文件中 var canvas = document.getElementById('canvas

在坚持了许久之后,依然还是没能抵住maven的各种攻击,终于从0开始maven. 开始由于有关小项目,时间紧任务重,没仔细研究maven,便匆匆上手了,导致maven库的位置放在了c盘当前用户的数据目录下(后来才知道),而且自动创建了eclipse中的M2_HOME属性.匆匆折腾1小时,没能搞定,从此心里产生些许遗憾,近日,抽出时间决定从头开始. 但是,刚小小折腾了一会,发现在eclipse中创建的那个M2_HOME属性,定位到C盘那里,而且打开Window-preferences-java-b

注释:原文链接丢失. 我的“记词助手”在升级到iOS7之后,一直出现UILabel错位的问题: 我的label是用- (CGSize)sizeWithFont:(UIFont *)font constrainedToSize:(CGSize)size lineBreakMode:(NSLineBreakMode)lineBreakMode 来计算的,但是似乎计算得不是很正确. 实际上UILabel的frame是红框的大小,但是在宽度不够的时候,不知道触发了什么bug,这个Label在绘制的时候文

TSS: Total Sum of Squares(总离差平方和) --- 因变量的方差 RSS: Residual Sum of Squares (残差平方和) ---  由误差导致的真实值和估计值之间的偏差平方和(Sum Of Squares Due To Error) ESS: Explained Sum of Squares (回归平方和) ---  被模型解释的方差(Sum Of Squares Due To Regression) TSS=RSS+ESS R2: Coefficien

一.前述 Soft-Max是做多分类的,本身是哪个类别的概率大,结果就为对应的类别.为什么称之为Soft判别,原因是归一化之后的概率选择最大的作为结果,而不是只根据分子. 二.原理 sigmod函数: SoftMax函数模型理解: 每一个分类的预测值的概率: soft-max的损失函数: 当k=2时其实损失函数就是:(实际上就是逻辑回归) 三.代码 # softmax多分类 from sklearn import datasets from sklearn.linear_model import

一.前述 L1正则,L2正则的出现原因是为了推广模型的泛化能力.相当于一个惩罚系数. 二.原理 L1正则:Lasso Regression L2正则:Ridge Regression 总结: 经验值 MSE前系数为1 ,L1 , L2正则前面系数一般为0.4~0.5 更看重的是准确性. L2正则会整体的把w变小. L1正则会倾向于使得w要么取1,要么取0 ,稀疏矩阵 ,可以达到降维的角度. ElasticNet函数(把L1正则和L2正则联合一起): 总结: 1.默认情况下选用L2正则. 2.如若

原来使用SpringBoot1.5最近写个demo后发现原来的配置文件不能用了. 最后上网查询了一下资料,springboot2.0和spring1.x还是存在不少问题的. 1.问题一:Java版本要求的变化 在Spring Boot 2.0中提高了对Java版本的要求,我们需要至少使用Java 8才能使用它,如果您的Spring Boot应用还运行在Java 7上,那就要考虑升级jdk或者不要升级到Spring Boot 2.0版本 Spring Boot 1.X没有支持Java 9的计划,如

转自:http://blog.csdn.net/k12104/article/details/33731833 http://herkuang.info/blog/2013/12/31/ios7%E4%B8%ADuilabel%E9%AB%98%E5%BA%A6%E8%B0%83%E6%95%B4%E6%B3%A8%E6%84%8F%E4%BA%8B%E9%A1%B9/ 我的“记词助手”在升级到iOS7之后,一直出现UILabel错位的问题: 我的label是用- (CGSize)sizeWit

Dim i As Integer   For i = 1 To Selection.Tables.Count Selection.Tables(i).Columns(9).Delete Selection.Tables(i).AutoFitBehavior (wdAutoFitContent) Selection.Tables(i).AutoFitBehavior (wdAutoFitContent) Next End Sub         上面宏的作用是遍历选中内容中的所有表格,把所有表格的

(一)在上一篇012_LINUXC++之_类的继承定义中我们知道在派生类中可以访问public和protectd中的数据 (二)那么我们就可以在派生类中将上面两个中的数据进行权限的修改 (三)程序 #include <iostream> using namespace std; class Father{ public: int test1; private: int test2; protected: int test3; }; class Son:public Father{ public

1.打开终端,输入diskutil list: 2.从显示的列表中找到你需要扩展的分区(是分区不是磁盘,分区的ID一般为diskXsX): 3.然后输入 diskutil resizeVolume disk1s1 100GB,其中disk1s1为对应分区的ID,100GB为目标大小(这里的目标大小不能超过这个磁盘的总额): 4.回车,等待完成吧!