写这篇博客的原因主要是为了总结下在深度学习中我们常会遇到的一些问题,以及不知道如何解决,我准备把这个部分作为一个系列,为了让大家少走一些坑,对于本博客有什么错误,欢迎大家指出,下面切入正题吧. 1. 深度学习,一个令人头疼的问题就是如何调参? 简而言之,如果数据集复杂的话,那么就要增加网络的层数,模型欠拟合了,加节点. 2. 关于验证集的loss曲线和acc曲线震荡,不平滑问题 出现loss震荡不平滑的原因可能如下: (1) 学习率可能太大 (2) batch size太小 (3) 样本分布不均…

1.Word 中打字输入会擦掉之后原有字符,出现“吃字”的情况? 要将“改写”切换为“插入”,最简单的方法就是点击键盘上小键盘旁边的“insert”键. 其实仔细观察的话,在word文档下方,会看到如图所示提示,这表示目前该文档的输入方法为“插入”,如果要改成“改写”,只需要点击一下[插入]就行了. 还有一种就比较复杂了,点击[开始]-[选项],[高级]右侧[使用insert控制改写模式]下方,有[使用改写模式],勾选即改写,不勾就是插入.如方法一不起作用,需要将[使用insert控制改写模式]…

定义模型两种方法:  1.sequential 类仅用于层的线性堆叠,这是目前最常用的网络架构 2.函数式API,用于层组成的有向无环图,让你可以构建任意形式的架构 from keras import models from keras import layers model = models.Sequential() model.add(layers.Dense(32,activation='relu',input_shape=(784,))) model.add(layers.Dense(1…

1.优先使用数组而不是Object类型来表示有顺序的集合 ECMAScript标准并没有规定对JavaScript的Object类型中的属性的存储顺序. 但是在使用for..in循环对Object中的属性进行遍历的时候,确实是需要依赖于某种顺序的.正因为ECMAScript没有对这个顺序进行明确地规范,所以每个JavaScript执行引擎都能够根据自身的特点进行实现,那么在不同的执行环境中就不能保证for..in循环的行为一致性了. 比如,以下代码在调用report方法时的结果就是不确定的: f…

深度学习的优化算法,说白了就是梯度下降.每次的参数更新有两种方式. 一. 第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度.这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这称为Batch gradient descent,批梯度下降. 二. 另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent.这个方法速度比较快,但是收敛性能不太好,可能…

tensorflow中的模型常常是protobuf格式,这种格式既可以是二进制也可以是文本.keras模型保存和加载与tensorflow不同,keras中的模型保存和加载往往是保存成hdf5格式. keras的模型保存分为多种情况. 一.不保存模型只显示大概结构 model.summary() 这个函数会打印模型结构,但是仅仅是打印到控制台. keras.utils.plot_model() 使用graphviz中的dot.exe生成网络结构拓扑图 二.保存模型结构 keras.models.…

在统计学中,损失函数是一种衡量损失和错误(这种损失与“错误地”估计有关,如费用或者设备的损失)程度的函数.假设某样本的实际输出为a,而预计的输出为y,则y与a之间存在偏差,深度学习的目的即是通过不断地训练迭代,使得a越来越接近y,即 a - y →0,而训练的本质就是寻找损失函数最小值的过程. 常见的损失函数为两种,一种是均方差函数,另一种是交叉熵函数.对于深度学习而言,交叉熵函数要优于均方差函数,原因在于交叉熵函数配合输出层的激活函数如sigmoid或softmax函数能更快地加速深度学习的训…

本文最开始是在2016年的文章 Win10应用<纸书科学计算器>更新啦! 发表之后撰写的,当时那篇文章收到了不少人点赞,应用在国内市场的日下载量也突然上涨,让我感到受宠若惊,这里要感谢Wp-apps专栏和你们的支持,我们都是喜欢和关注UWP的粉丝! 然而有几个小Tips和彩蛋,帮助页面上没地方写(也不想让用户看到太多字),但不说又觉得缺点什么,还是整理出来单独发篇文章吧.本文会跟着<纸书>的更新而保持更新,这些小Tips则基于<纸书>的最新版本. 1.表达式输入 有三种…

最近工作比较忙,但也积累了一些小tips,比较杂,不成系统,也并不很深入,就开一篇笼统的先记录一下,以后再深入挖掘. 1.-webkit-tap-highlight-color -webkit-tap-highlight-color 是一个 不规范的属性,它没有出现在 CSS 规范草案中. 当用户点击iOS的Safari浏览器中的链接或JavaScript的可点击的元素时,覆盖显示的高亮颜色. 该属性可以只设置透明度.如果未设置透明度,iOS Safari使用默认的透明度.当透明度设为0,则会禁…

Unity3D开发时中有一个小tips,这在官方的文档里其实有提及的,但不那么显眼,这里小说一下: 在MonoBehaviour进行编程时,我们经常会用this.transform, this.gameObject等属性来获取指定的对象. 在Visual Studio中按F12进入定义可以看到,这些属性都是getter.我们的每一次调用,Unity内部会从GameObject里搜寻这些Component,会有一定的损耗,因此,像在Update里频繁需要用到transform这类组件的时候,可以把…