深度学习word2vec笔记之基础篇

（转）深度学习word2vec笔记之基础篇

深度学习word2vec笔记之基础篇声明: 1)该博文是多位博主以及多位文档资料的主人所无私奉献的论文资料整理的.具体引用的资料请看参考文献.具体的版本声明也参考原文献 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应,更有些部分本来就是直接从其他博客复制过来的.如果某部分不小心侵犯了大家的利益,还望海涵,并联系老衲删除或修改,直到相关人士满意为止. 3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢. 4)阅读本文需要机器学习.语言模型等等基础(如果没…

深度学习word2vec笔记之基础篇

作者为falao_beiliu. 作者:杨超链接:http://www.zhihu.com/question/21661274/answer/19331979来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 最近几位google的研究人员发布了一个工具包叫word2vec,利用神经网络为单词寻找一个连续向量空间中的表示.这里整理一下思路,供有兴趣的同学参考. 这里先回顾一下大家比较熟悉的N-gram语言模型. 在自然语言任务里我们经常要计算一句话的概率.比如语音识别…

深度学习word2vec笔记之算法篇

深度学习word2vec笔记之算法篇声明: 本文转自推酷中的一篇博文http://www.tuicool.com/articles/fmuyamf,若有错误望海涵前言在看word2vec的资料的时候,经常会被叫去看那几篇论文,而那几篇论文也没有系统地说明word2vec的具体原理和算法,所以老衲就斗胆整理了一个笔记,希望能帮助各位尽快理解word2vec的基本原理,避免浪费时间. 当然如果已经了解了,就随便看看得了. 一． CBOW加层次的网络结构与使用说明 Word2vec总共有两种类…

深度学习word2vec笔记之应用篇

好不容易学了一个深度学习的算法,大家是否比较爽了?但是回头想想,学这个是为了什么?吹牛皮吗?写论文吗?参加竞赛拿奖吗? 不管哪个原因,都显得有点校园思维了. 站在企业的层面,这样的方式显然是不符合要求的,如果只是学会了,公式推通了,但是没有在工作中应用上,那会被老大认为这是没有产出的.没有产出就相当于没有干活,没有干活的话就……呃……不说了. 下面就给大家弄些例子,说说在互联网广告这一块的应用吧. 一．对广告主的辅助 1.1基本概念互联网广告的广告主其实往往有他们的困惑,他们不知道自己的目标人…

Django学习笔记（基础篇）

Django学习笔记(基础篇):http://www.cnblogs.com/wupeiqi/articles/5237704.html…

Python学习笔记之基础篇（-）python介绍与安装

Python学习笔记之基础篇(-)初识python Python的理念:崇尚优美.清晰.简单,是一个优秀并广泛使用的语言. python的历史: 1989年,为了打发圣诞节假期,作者Guido开始写Python语言的编译器.Python这个名字,来自Guido所挚爱的电视剧Monty Python’s Flying Circus.然后这个新语言就叫python,能符合他的理想:创造一种C和shell之间,功能全面,易学易用,可拓展的语言. 1991年,第一个Python编译器诞生.它是用C语言实…

深度学习课程笔记（一）CNN 卷积神经网络

深度学习课程笔记(一)CNN 解析篇相关资料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html 首先提到 Why CNN for Image ? 综合上述三个特点,我们可以看到图像识别有如下的特色: =================================== 分割线 ======================================================= 以上就是整体上来感受下深度神经网络,接下…

深度学习课程笔记（十四）深度强化学习 --- Proximal Policy Optimization (PPO)

深度学习课程笔记(十四)深度强化学习 --- Proximal Policy Optimization (PPO) 2018-07-17 16:54:51 Reference: https://blog.openai.com/openai-baselines-ppo/ Code: https://github.com/openai/baselines Paper: https://arxiv.org/pdf/1707.06347.pdf Video Tutorials: https://ww…

深度学习课程笔记（十一）初探 Capsule Network

深度学习课程笔记(十一)初探 Capsule Network 2018-02-01 15:58:52 一.先列出几个不错的 reference: 1. https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b 2. https://medium.com/ai%C2%B3-theory-practice-bus…

深度学习读书笔记之RBM（限制波尔兹曼机）

深度学习读书笔记之RBM 声明: 1)看到其他博客如@zouxy09都有个声明,老衲也抄袭一下这个东西 2)该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 3)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应,更有些部分本来就是直接从其他博客复制过来的.如果某部分不小心侵犯了大家的利益,还望海涵,并联系老衲删除或修改,直到相关人士满意为止. 4)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢.…

深度学习课程笔记（十八）Deep Reinforcement Learning - Part 1 (17/11/27) Lectured by Yun-Nung Chen @ NTU CSIE

深度学习课程笔记(十八)Deep Reinforcement Learning - Part 1 (17/11/27) Lectured by Yun-Nung Chen @ NTU CSIE 2018-08-11 13:42:23 This video can be found from: https://www.youtube.com/watch?v=yQdD_R_I6vc Slides: https://www.csie.ntu.edu.tw/~yvchen/f106-adl/doc/1…

深度学习课程笔记（十七）Meta-learning (Model Agnostic Meta Learning)

深度学习课程笔记(十七)Meta-learning (Model Agnostic Meta Learning) 2018-08-09 12:21:33 The video tutorial can be found from: Model Agnostic Meta Learning Related Videos: My talk for Model Agnostic Meta Learning with domain adaptation Paper: https://arxiv.org/p…

深度学习课程笔记（十六）Recursive Neural Network

深度学习课程笔记(十六)Recursive Neural Network 2018-08-07 22:47:14 This video tutorial is adopted from: Youtube =====>> 问题是:language 到底是否是 recursive 的呢? ======>> 上述几个图,就展示了这个语法树的成长过程... ================================================== ========>&g…

深度学习课程笔记（十五）Recurrent Neural Network

深度学习课程笔记(十五)Recurrent Neural Network 2018-08-07 18:55:12 This video tutorial can be found from: Youtube Issue: 传统方法中,当你的训练数据中,没有那么丰富的 training data,那么可能会导致部分数据的预测为 0,如上图所示.为了不让它变成 0,所以,我们给它一个非常小的 value,如:0.0001.但是这种给定的低概率的 value,是相当不准确的. 所以,我们想能否有一种…

深度学习课程笔记（十三）深度强化学习 --- 策略梯度方法（Policy Gradient Methods）

深度学习课程笔记(十三)深度强化学习 --- 策略梯度方法(Policy Gradient Methods) 2018-07-17 16:50:12 Reference:https://www.youtube.com/watch?v=z95ZYgPgXOY&t=512s…

深度学习课程笔记（十）Q-learning (Continuous Action)

深度学习课程笔记(十)Q-learning (Continuous Action) 2018-07-10 22:40:28 reference:https://www.youtube.com/watch?v=tnPVcec22cg…

深度学习课程笔记（九）VAE 相关推导和应用

深度学习课程笔记(九)VAE 相关推导和应用 2018-07-10 22:18:03 Reference: 1. TensorFlow code: https://jmetzen.github.io/2015-11-27/vae.html 2. Paper: https://arxiv.org/pdf/1312.6114.pdf…

深度学习课程笔记（八）GAN 公式推导

深度学习课程笔记(八)GAN 公式推导 2018-07-10 16:15:07…

深度学习课程笔记（十二） Matrix Capsule

深度学习课程笔记(十二) Matrix Capsule with EM Routing 2018-02-02 21:21:09 Paper: https://openreview.net/pdf/99b7cb0c78706ad8e91c13a2242bb15b7de325ad.pdf Blog: https://jhui.github.io/2017/11/14/Matrix-Capsules-with-EM-routing-Capsule-Network/ [Abstract] 一个…

深度学习课程笔记（七）：模仿学习（imitation learning）

深度学习课程笔记(七):模仿学习(imitation learning) 2017.12.10 本文所涉及到的模仿学习,则是从给定的展示中进行学习.机器在这个过程中,也和环境进行交互,但是,并没有显示的得到 reward.在某些任务上,也很难定义 reward.如:自动驾驶,撞死一人,reward为多少,撞到一辆车,reward 为多少,撞到小动物,reward 为多少,撞到 X,reward 又是多少,诸如此类...而某些人类所定义的 reward,可能会造成不可控制的行为,如:我们想让 a…

深度学习课程笔记（六）Error

深度学习课程笔记(六)Error Variance and Bias: 本文主要是讲解方差和偏差: error 主要来自于这两个方面.有可能是: 高方差,低偏差: 高偏差,低方差: 高方差,高偏差: 低方差,低偏差--- 这是理想情况 ================================================================================= 随着模型复杂度的上升,那么,bias 会逐渐降低的.…

深度学习课程笔记（五）Ensemble

深度学习课程笔记(五)Ensemble 2017.10.06 材料来自: 首先提到的是 Bagging 的方法: 我们可以利用这里的 Bagging 的方法,结合多个强分类器,来提升总的结果.例如: 通过这种求平均的方法,可以得到更加接近真实值的输出. 我们可以对训练数据集进行随机采样,构建四个子数据集,然后分别对这些数据进行分类器的训练,得到多个强分类器. 上面是训练的情况,当测试的时候,我们可以将多个分类器的结果综合起来,得到最终的结果. ==>> 这些方法在你的模型比较复杂,容易过拟…

深度学习课程笔记（四）Gradient Descent 梯度下降算法

深度学习课程笔记(四)Gradient Descent 梯度下降算法 2017.10.06 材料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html 我们知道在神经网络中,我们需要求解的是一个最小化的问题,即:最小化 loss function. 假设我们给定一组初始的参数 $\theta$,那么我们可以算出在当前参数下,这个loss是多少,即表示了这个参数到底有多不好. 然后我们利用上述式子来调整参数,其中梯度可以用▽的形式…

深度学习课程笔记（三）Backpropagation 反向传播算法

深度学习课程笔记(三)Backpropagation 反向传播算法 2017.10.06 材料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html 反向传播算法这里是用到 chain rule(链式法则)的,如下图所示: 这个应该没什么问题.大家都学过的. 我们知道总的loss 是由各个小的 loss 组合得到的,那么我们在求解 Loss 对每一个参数的微分的时候,只要对每一个 loss 都这么算就可以了.那么我们以后的例子都是以…

深度学习课程笔记（二）Classification： Probility Generative Model

深度学习课程笔记(二)Classification: Probility Generative Model 2017.10.05 相关材料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html 本节主要讲解分类问题: classification 问题最常见的形式,就是给定一个输入,我们去学习一个函数,使得该函数,可以输出一个东西(label).如下所示: 其实好多其他的问题,都是分类问题演化而来,都可以通过分类问题来解决,如:物体…

深度学习论文笔记：Fast R-CNN

知识点 mAP:detection quality. Abstract 本文提出一种基于快速区域的卷积网络方法(快速R-CNN)用于对象检测. 快速R-CNN采用多项创新技术来提高训练和测试速度,同时提高检测精度. 采用VGG16的网络:VGG: 16 layers of 3x3 convolution interleaved with max pooling + 3 fully-connected layers Introduction 物体检测相对于图像分类是更复杂的,应为需要物体准确的位置…

mysql学习笔记之基础篇

数据库学习之基础篇 ① 开放数据库互连(Open Database Connectivity,ODBC ② 结构化查询语言(Structured Query Language) ③ 进入mysql:Mysql -u cz -p cz; ④ 显示系统的database: show databases; ⑤ 创建database:create database 名字; ⑥ 选择database:use 名字; ⑦ 删除数据库:drop database name;或者表 ⑧ 查看表:show tab…