LUSE: 无监督数据预训练短文本编码模型 1 前言 本博文本应写之前立的Flag:基于加密技术编译一个自己的Python解释器,经过半个多月尝试已经成功,但考虑到安全性问题就不公开了,有兴趣的朋友私聊讨论吧. 从本篇博客开始,本人将转化写作模式,由话痨模式转为极简模式,力求三言两语让各位看的明白. 2 工作简介 受到MOCO和SimCSE的启发, 基于自监督,使用海量无监督数据(nlp_chinese_corpus),预训练了一个专门用于短文本表征的编码器.该编码器在分类任务尤其是短文本相似度

今天在打开GitHub的时候,使用了bing.com搜索,输入GitHub进行搜索链接,排名第一的为GitHub中文社区,点击去发现这个社区还可以,我们看看GitHub中文社区有哪些好的地方 GitHub中文社区菜单 热门趋势 排行榜 GitHub精选 随机浏览 分类浏览 开发者排行 GitHub热门趋势 热门趋势分为:过去24小时,过去7天和过去30天的关注度较多的 Repositories GitHub 排行榜(GitHub 排行榜 TOP200) 排行榜应该是列出了GitHub上star数

其实跟Git里中文乱码相比,这个问题好解决得多. GitHub中的乱码是由于其使用的编码与Windows记事本的默认编码不同.只要在本地将编码改成UTF-8,再重新push就可以了. 修改编码的方法是:在另存为中选择编码UTF-8 关于Windows记事本中的三种编码ANSI.Unicode.UTF-8的区别,知乎上有一个同样的问题,里面比较详尽的答案. Windows 记事本的 ANSI.Unicode.UTF-8 这三种编码模式有什么区别?

参考:Familia的Github项目地址.百度NLP专栏介绍 Familia 开源项目包含文档主题推断工具.语义匹配计算工具以及基于工业级语料训练的三种主题模型:Latent Dirichlet Allocation(LDA).SentenceLDA 和Topical Word Embedding(TWE). 支持用户以“拿来即用”的方式进行文本分类.文本聚类.个性化推荐等多种场景的调研和应用.考虑到主题模型训练成本较高以及开源主题模型资源有限的现状,我们会陆续开放基于工业级语料训练的多个垂直

服务器上python2.7 打印出的e[0]对应的是 unicode码 于是分别尝试了用e[0].encode('utf-8')转码 和 e[0].decode('unicode-escape')依然是unicode码. 后来,想起很久之前用gensim跑琅琊榜的词向量时没有这个问题,翻出代码看了一下,原来是print语句的写法有问题. 教训:编程语言版本不要随便换,不得不换后要记得语言版本也是debug的一个方向.

在LDA模型原理篇我们总结了LDA主题模型的原理,这里我们就从应用的角度来使用scikit-learn来学习LDA主题模型.除了scikit-learn,  还有spark MLlib和gensim库也有LDA主题模型的类库,使用的原理基本类似,本文关注于scikit-learn中LDA主题模型的使用. 1. scikit-learn LDA主题模型概述 在scikit-learn中,LDA主题模型的类在sklearn.decomposition.LatentDirichletAllocatio

0. 背景 因为最近在看平行语料句对齐.词对齐的缘故,想做对齐的话需要先做一个分句. 一开始利用正则和引号开关标志写了一种方法,中间想到一个小技巧,写出来比较简单通用,想把这一小段代码分享一下. 1. 原理 一些情况下,标点也算是比较好的一个特征,这里就想尽量正确的切分. 主要考虑到的问题包括: 分隔符保留 引号内的句子 同一处多个标点 决定引号内不切分之后,利用一点小技巧使得思路非常明确: 将括号内的做为整体保存到一个队列,同时用一个标志占位. 分好以后再替换回来. 2. 代码 注意, 此处利

最近因为相关项目需要考虑中文文本检错,然后就发现了爱奇艺发布的号称SOTA的FASPell已经开源代码,所以开始着手实现. 检错思想两步:一,掩码语言模型(MLM)产生候选字符:二,CSD过滤候选字符. 资源与数据文件 开源代码中不包含任何处理好的数据,全部需要自己处理.训练和测试使用的SIGHAN数据没有问题.但是所需的char_meta.txt文件构建较为困难,其由字音和字形两部分特征构成.字音在unihan database可以检索到,但字形特征依照论文阐述是使用汉字的完整带结构笔画级分解

bert模型在tensorflow1.x版本时,也是先发布的命令行版本,随后又发布了bert-tensorflow包,本质上就是把相关bert实现封装起来了. tensorflow2.0刚刚在2019年10月左右发布,谷歌也在积极地将之前基于tf1.0的bert实现迁移到2.0上,但近期看还没有完全迁移完成,所以目前还没有基于tf2.0的bert安装包面世,因为近期想基于现有发布的模型做一个中文多分类的事情,所以干脆就弄了个基于命令行版本的.过程中有一些坑,随之记录下来. 1. colab:因为

近日,对近些年在NLP领域很火的BERT模型进行了学习,并进行实践.今天在这里做一下笔记. 本篇博客包含下列内容: BERT模型简介 概览 BERT模型结构 BERT项目学习及代码走读 项目基本特性介绍 代码走读&要点归纳 基于BERT模型实现垃圾邮件分类 TREC06语料库 基准模型介绍 BERT迁移模型实现 一.BERT模型简介 1.概览 BERT模型的全称是Bidirectional Encoder Representations from Transformer,即Transformer

什么是LDA? LDA是基于贝叶斯模型的,涉及到贝叶斯模型离不开“先验分布”,“数据(似然)”和"后验分布"三块.贝叶斯相关知识:先验分布 + 数据(似然)= 后验分布. 贝叶斯模型通过数学和概率的形式表达, 设 似然(数据)为二项分布: 其中p我们可以理解为好人的概率,k为好人的个数,n为好人坏人的总数.似然(数据)较为容易理解,但是先验分布较难,因为要求先验分布和数据(似然)对应的二项分布集合后,得到的后验分布在后面还可以作为先验分布!即是说,我们希望先验分布和后验分布的形式应该是

转自: https://createmomo.github.io/ BiLSTM-CRF模型中CRF层的解读: 文章链接: 标题:CRF Layer on the Top of BiLSTM - 1  链接:https://createmomo.github.io/2017/09/12/CRF_Layer_on_the_Top_of_BiLSTM_1/ 标题:CRF Layer on the Top of BiLSTM - 2  链接:https://createmomo.github.io/2

漫谈Github与开源 文字亮点: 为什么这些优秀的工程师会开源自己的项目? 因为开源是一种精神. 无数的软件开发者苦心积虑保护自己的代码不被破解,而还是被聪明绝顶的脚本小子破解了,但破解无数软件的脚本小子在接下来的破解中却傻眼了,因为这是开源的,不用破解也就破解了破解. 闭源意味着封闭,而开源则意味着开放,封闭很难进步,开放才会进步.开放让人类的智慧有聚集的可能,人类的智慧聚集起来不再是1+1=2,这是开源的力量.闭源是一种排斥,而开源是包容,闭源是单打独斗,开源是同仇敌忾,闭源是敝帚自珍,开

1 引言 主题模型是文本挖掘的重要工具,近年来在学术界和工业届都获得了非常多的关注.学术界的工作主要集中在建模层面,即提出各种各样的主题模型来适应不同的场景,因此缺乏指导主题模型在工业场景落地的资源和文献. 本文主要是以<Familia:开源的中文主题模型应用工具包>为参考资料,入门NLP领域.该文结合开源工具Familia(百度开源),总结主题模型在工业届的一些典型应用案例,从而方便用户找到适合自己任务的模型以及该模型的应用方式. 2 主题模型概念 以LDA为代表的主题模型,训练的结果一般是

Python 中文分句 - CSDN博客 https://blog.csdn.net/laoyaotask/article/details/9260263 # 设置分句的标志符号:可以根据实际需要进行修改 #cutlist = ".!?".decode('utf-8') cutlist = ['\n', '\t', '.', ':', '?', '.', ';', '?', '...', '...',':'] cutlist = [ '.', ':', '?', '.', ';', '

之前分享过<版本分支管理标准 - Git Flow>,不过在实际使用过程中, 因为其有一定的复杂度,使用起来较为繁琐,所以一些人员较少的团队并不会使用这个方案. 在这基础上,一些新的分支管理标准被提出.这里转发一下这个标准:<Trunk Based Development 主干开发模型>. Preface 在之前的博文中我们介绍了 Git Flow 分支模型,正如文中所说,Git Flow 偏向于控制管理,使用了较多的分支,流程颇为复杂.大量的团队在实践过程中也遇到了颇多问题,其中

引言 天猫精灵(TmallGenie)是阿里巴巴人工智能实验室(Alibaba A.I.Labs)于2017年7月5日发布的AI智能语音终端设备.天猫精灵目前是全球销量第三.中国销量第一的智能音箱品牌. 在天猫精灵业务系统中,大量使用了算法模型.如领域分类模型,意图分类模型,槽填充模型,多轮对话模型等.当前天猫精灵后台有上百个正在使用的算法模型. 在模型服务方面,有两个问题非常重要: 首先,为了保证服务能够得到快速响应,模型的 RT 必须尽可能的短. 其次,我们希望在硬件资源一定的情况下能够支持

作者:HelloGitHub-小鱼干 Twitter 有位程序员总结了本周的 GitHub 中文程序员的看点:国内程序员日常--考公务员.996.抢茅台.刷算法.整健康码.在本期热点速览里,小鱼干收录了考公务员的项目 coder2gwy,它有多受国内程序员欢迎呢?一周 star 获得 8k+,上一次遇到一周获得近万 star 的项目还是图片处理项目 Depix,它的神奇之处在于还原马赛克密码.而 coder2gwy 的神奇之处在于充分体现了国内程序员对 996 的"厌恶",以及对自己私

1.pyltp简介 pyltp 是哈工大自然语言工作组推出的一款基于Python 封装的自然语言处理工具(轮子),提供了分词,词性标注,命名实体识别,依存句法分析,语义角色标注的功能. 2.pyltp安装方法 安装环境:windows10,python3.6 2.1.安装pyltp库 安装方法一:使用pip命令安装 pip install pyltp 注:此种方法大概率会失败,会出现较多问题,如VC++编译环境缺少. 安装方法二:使用whl轮子安装 轮子下载地址: 链接:https://pan.

团队成员介绍 大娃 后端开发人员,主要工作为后端开发,文档撰写. 大娃的个人博客 二娃 PM,主要工作为项目进度把控,平日例会的记录,例会博客及部分其他博客的撰写. 二娃的个人博客 三娃 PM,主要工作为项目进度把控,用户需求分析,组织平日例会,各类博客的撰写. 三娃的个人博客 四娃 前端开发人员,主要工作为网页各项功能的实现,文档撰写. 四娃的个人博客 五娃 后端开发人员,主要工作为后端开发,文档撰写. 五娃的个人博客 六娃 测试,主要工作为测试前后端代码,发现bug交付给开发组. 六娃的个人

转载自:http://www.zmonster.me/2016/06/08/use-stanford-nlp-package-in-nltk.html 目录 NLTK 与 Stanford NLP 安装和配置 注意事项 StanfordSegmenter StanfordTokenizer StanfordNERTagger 和 StanfordPOSTagger StanfordParser, StanfordDependencyParser StanfordNeuralDependencyP