作者简介 周明,微软亚洲研究院首席研究员.ACL候任主席(president).中国计算机学会中文信息技术专委会主任.中国中文信息学会常务理事.哈工大.天津大学.南开大学.山东大学等多所学校博士导师.1985年毕业于重庆大学,1991年获哈工大博士学位.1991-1993年清华大学博士后,随后留校任副教授.1996-1999访问日本高电社公司主持中日机器翻译研究.他是中国第一个中英翻译系统.日本最有名的中日机器翻译产品J-北京的发明人.1999年加入微软研究院并随后负责自然语言研究组,主持研制了…

http://3g.163.com/all/article/DM995J240511AQHO.html 选自the Gradient 作者:Sebastian Ruder 机器之心编译 计算机视觉领域常使用在 ImageNet 上预训练的模型,它们可以进一步用于目标检测.语义分割等不同的 CV 任务.而在自然语言处理领域中,我们通常只会使用预训练词嵌入向量编码词汇间的关系,因此也就没有一个能用于整体模型的预训练方法.Sebastian Ruder 表示语言模型有作为整体预训练模型的潜质,它能由浅…

我之前大致写了一篇在pytorch中如何自己定义数据集合,在这里如何自定义数据集 不过这个例子使用的是image,也就是图像.如果我们用到的是文本呢,处理的是NLP问题呢? 在解决这个问题的时候,我在网上无意间搜索到这样一篇文章PyTorch 入门实战(三)--Dataset和DataLoader 在这篇博文中,作者从dataset和dataloader一步步讲解,让我有了很大的感悟.然后我根据自己之前那篇文章,总结了一下如何在nlp问题中自定义数据集. 首先上一个简单的例子, import t…

Attention 机制. 参考:https://blog.csdn.net/xiewenbo/article/details/79382785 要是关注深度学习在自然语言处理方面的研究进展,我相信你一定听说过Attention Model(后文有时会简称AM模型)这个词.AM模型应该说是过去一年来NLP领域中的重要进展之一,在很多场景被证明有效.听起来AM很高大上,其实它的基本思想是相当直观简洁的. 1.引言 机器学习领域中的Attention Model这个名字,是从认知心理学里面的人脑注意…

​自然语言处理(NLP)是人工智能领域一个十分重要的研究方向.NLP研究的是实现人与计算机之间用自然语言进行有效沟通的各种理论与方法. 本文整理了NLP领域常用的16个术语,希望可以帮助大家更好地理解这门学科. 1.自然语言处理(NLP) 自然语言处理,简单来说就是构建人与机器之间沟通的桥梁,以实现人机交流的目的. 自然语言处理有两大核心任务:自然语言理解(NLU)与自然语言生成(NLG). 2.Attention 机制 Attention的本质是从关注全部到关注重点.将有限的注意力集中在重点信…

本文首发于微信公众号「对白的算法屋」,来一起学AI叭 大家好,卷王们and懂王们好,我是对白. 本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读,包含了文本生成.自然语言理解.预训练语言模型训练和去偏.以及文本匹配和文本检索.从这些论文的思想中借鉴了一些idea用于公司自身的业务中,最终起到了一个不错的效果. 1.Contrastive Learning with Adversarial Perturbations for Conditional Text Generation 任务…

在我看来,我们现在正处在SaaS公司发展过程中的第三代.第一代SaaS公司有Salesforce.Netsuite和Webex等.紧接着兴起的第二代SaaS公司大多都是利用Salesforce或其他网络平台或或范式进行规模化扩张. 如今,每一项商业流程都被网络化了.几年前规模还非常小的市场如今已经开始爆发,几年前没有SaaS产品购买预算的公司如今也开始在SaaS产品上进行大笔投入. 伴随第三代SaaS公司而来的是二次SaaS创业者的兴起.我这里所说的二次SaaS创业者并不是那些第一次SaaS创业…

 在IT界取得成功应该知道的10件事 2011-08-11 13:31:30 分类: 项目管理 导读:前面大多数文章都是Jack Wallen写的,这是他的新作,看来要成为NB程序员还要不停的自我总结. 1. 厚脸皮 - Thick skin 让我们面对现实吧.从各个方面来说,IT业从业人员很难受到欢迎.昨天有人坚持让你完成一项工作,如果你不好好干的话,你将会马上丢掉工作,因为客户 的数据文件无法修复.看起来,不管你的技术多么出色,如果你不能容忍客户尖酸刻薄的批评和指责的话,你将无法取得成功.当…

FROM ME : 文章介绍了6个Promise的知识点: 1.then() 返回一个 forked Promise(分叉的 Promise):返回的有两种情况: 2.回调函数应该传递结果:在 promise 的上下文中,回调函数像普通的回调函数一样传递结果,返回的结果传给下一个回调函数: 3.只能捕获来自上一级的异常 4.错误能被恢复:在一个错误回调中,如果没有重新抛出错误,promise 会认为你已经恢复了该错误,promise 的状态会转变为 resolved. 5.Promise 能被暂…

http://www.csdn.net/article/2013-06-21/2815949-3d-programming 原文作者Vasily Tserekh是名3D编程爱好者,他发表了一篇博文< Ten Things to Achieve When Starting 3D Programming>文中他分享了创建3D编程必做的十件事. 开发者想要启动3D编程也并非是件易事,它不仅需要许多新技术,而且还需要根据不同的项目来选择编程语言从而设置正确的3D软件模型. 3D编程语言提供了一种更加容…