1.DagNN对象的executionOrder属性 该属性是hidden属性,所以外部是访问不到的.只有dagnn.DagNN类和dagnn.Layer类可以访问到. 该属性的设置是在DagNN类的rebuild方法中实现的,在该方法的53行左右调用了一个getOrder函数去实现.而rebuild方法又被dagNN类的addLayer方法调用 所以我们如果想从外部设置该属性,一种情况是我们给网络加一层就会自动设置该属性,还有一种情况可以手动调用dagNN类的rebuild方法 2019.4.…

背景知识:http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92 假设softmax层的输入(softmax前一次的输出),或者理解为一般分类器的得分f(x)=</theta,x>中的/theta可以随便减一个常量. 或者假设现在的类别数目为N,不妨设为N=3,那么会有三个分类器,假设每个分类器的得分为f_j(x)=</theta_j,x> 我们知道在做softmax操作其实就是将exp(f…

Beam Search的问题 先解释一下什么要对Beam Search进行改进.因为Beam Search虽然比贪心强了不少,但还是会生成出空洞.重复.前后矛盾的文本.如果你有文本生成经验,一定对这些现象并不陌生.在语言模型还不像如今的BERT.GPT这么厉害的时候,这种现象更加明显. 没有经验也没关系,我们来看一个论文里面的例子.输入模型的引文(context) "The study, published in the Proceedings of the They were cattle c…

Beam Search 简单介绍一下在文本生成任务中常用的解码策略Beam Search(集束搜索). 生成式任务相比普通的分类.tagging等NLP任务会复杂不少.在生成的时候,模型的输出是一个时间步一个时间步依次获得的,而且前面时间步的结果还会影响后面时间步的结果.也就是说,每一个时间步,模型给出的都是基于历史生成结果的条件概率.为了生成完整的句子,需要一个称为解码的额外动作来融合模型多个时间步的输出,而且使得最终得到的序列的每一步条件概率连乘起来最大. 在文本生成任务中,每一个时间步可能…

目录 Beam Search快速理解及代码解析(上) Beam Search 贪心搜索 Beam Search Beam Search代码解析 准备初始输入 序列扩展 准备输出 总结 Beam Search快速理解及代码解析(下) Beam Search的问题 解决对策 随机采样 top-k采样 核采样(Nucleus sampling) 惩罚重复 代码解析 参考资料 Beam Search快速理解及代码解析(上) Beam Search 简单介绍一下在文本生成任务中常用的解码策略Beam Se…

 java集合框架之java HashMap代码解析 文章Java集合框架综述后,具体集合类的代码,首先以既熟悉又陌生的HashMap开始. 源自http://www.codeceo.com/article/java-hashmap-java-collection.html 签名(signature) public class HashMap<K,V> extends AbstractMap<K,V> implements Map<K,V>, Cloneable, Se…

Babel是如何编译JS代码的及理解抽象语法树(AST) 1. Babel的作用是?   很多浏览器目前还不支持ES6的代码,但是我们可以通过Babel将ES6的代码转译成ES5代码,让所有的浏览器都能理解的代码,这就是Babel的作用.2. Babel是如何工作的?   Babel的编译过程和大多数其他语言的编译器大致相同,可以分为三个阶段. 1. 解析(PARSE):将代码字符串解析成抽象语法树. 2. 转换(TRANSFORM):对抽象语法树进行转换操作. 3. 生成(GENERATE):…

今天我们对postmaster的以下细节进行讨论: backend的启动和client的连接请求的认证 客户端取消查询时的处理 接受pg_ctl的shutdown请求进行shutdown处理 2.与前端的交互 2.1backend的启动和client的连接请求的认证 关于backend的启动,其函数调用栈如下: PostmasterMain() |->ServerLoop() |->initMasks() |->for(;;) |->select() <--监听端口 |-&g…

最近在项目中需要对nodejs的require关键字做解析,并且替换require里的路径.一开始我希望nodejs既然作为脚本语言,内核提供一个官方的parser库应该是一个稳定可靠又灵活的渠道,然而nodejs里面只一个了一个加载js文件并得到对应的module的能力,module能获取export的函数及其对应的源代码的能力,但是代码已经是闭包过后的,实际上能力很有限. 而我实际上需要的是一个官方的js parser,我希望它是用nodejs写的,轻量的,能得到完整的AST.这样我们就可以…

k-means 是聚类中比较简单的一种.用这个例子说一下感受一下 TensorFlow 的强大功能和语法. 一. TensorFlow 的安装 按照官网上的步骤一步一步来即可,我使用的是 virtualenv 这种方式. 二.代码功能 在\([0,0]\) 到 \([1,1]\) 的单位正方形中,随机生成 \(N\) 个点,然后把这 \(N\) 个点聚为 \(K\) 类. 最终结果如下,在 0.29s 内,经过 17 次迭代,找到了4个类的中心,并给出了各个点归属的类. Found in 0.2…