关于nlp的一些探索

深度学习，知识图谱，nlp学习经历                          
获取信息来源：英文paper研读，吴恩达公开课，Hiton公开课，北大nlp教材，英文最新学术论文，中科院院士技术博客，知识图谱专家课程
自学进修路线：基础理论---专业理论(公开课，讲义，教材，技术博客)---框架原理及使用：sparkMLlib,tensorflow---最新技术,专业理论提升(英文paper研读，算法改进)---NLP、LSTM(句子相似度，双向LSTM分词，语义分析理解，机器翻译)---聊天机器人技术研究
部分研究成果与原创技术博客，请登陆本人的技术博客：www.cnblogs.com/txq157(博客园)
生成式聊天机器人三种问题的解决方案：①上下文：Attention Model的引入②安全回答：更改损失函数为MMI③一致性问题(同义句敏感度问题)：在Decoder阶段引入同义句
nlp研发经历
一、中文分词
实验背景：目前深度学习与nlp结合是大势所趋，在深度学习中占据统治地位的是BiLSTM和Attention Model在本人成功改造了IK中文分词，在模拟大容量文本分词时速度提升了30%(2016年初实现)的基础上,目前继续深入研究基于双向LSTM分词以及词性标注，全面取代CRF。
二、Kmeans聚类算法改进
实验背景:提取出文章的关键词，有很多方案。基于深度学习语义理解方向是目前热点，在使用w2v获取到词embedding后，进行词聚类，然后从每个簇中心中抽取出频率最高的词作为文章的关键词是比较不错的方案。基于"相同语境中出现的词语义相近"思想的w2v已经很成功，kmeans聚类算法由于损失函数的非凸性很容易陷入局部最优解，聚类中心的选取方式以及k值的最优解需要改进。
实验成果：经过本人长期不懈的努力，终于改进成功。改进后的效果：①能够使聚类中心的选取更加合理化，能够确定k值的隐式最优解，聚类结果准确率高且稳定②增加数据归一化处理③增加了聚类结果连续存储的归类算法。链接地址：http://www.cnblogs.com/txq157/p/6067098.html
三、文章摘要改进计划:siamese lstm 解决句子相似度                   
实验背景：文章摘要技术用在搜索领域，可以改进搜索性能，节约用户的搜索时间。运用传统的依赖于知识库方法摘取出文章的关键词效果不佳。文章摘要技术，不管采用何种手段，离不开三个核心问题：①计算句子相似度②文摘句抽取③文摘句排序。文章摘要比较理想的效果是抽取出文章中的中心句，而不是特征词的拼凑。因此从语义理解的角度出发，第一种方案，依赖于w2v获取到词embedding，然后累加embedding组成句子，继续累加组成文章语义表示，从中找出与文章语义最接近的句子语义表示。这个方案与传统的统计建模相比，效果显然好很多，但不是最佳方案。把CNN引入到nlp中也是一种方案，但不是最佳方案。语义理解的核心是以句子或者文章为单位进行高阶特征抽取。在垂直搜索领域，lucene底层的文档排重SimHash已经很成功，前提也是抽取文档的特征语句。现在提出一个更接近于理想效果的方案：运用siamese lstm获取到句子的向量(与标准的lstm比较，这些句子的向量具有语义关联)，然后累加成文章的语义表示，从中找出与文章语义最相近的句子作为中心句。因此核心问题是siamese lstm解决句子相似度。
深度学习nlp实验
在nlp业内，语义理解和分析一直是难点，之前基于word2vector按照词向量选择每个词的候选词然后组合成语句的方案，时间复杂度高且准确度不够。此次实验目的是探索基于2015年国外最新的研究成果 siamese lstm(区别于标准的lstm)，以句子对儿或者文档对儿为输入对象，以句子对儿的exp(-||h1-h2||)为输出，MSE构建loss function,基于ma结构，实验准确度提升到90%以上，如果样本足够科学，人工打分足够精准，准确度还会更高。
搭建tensorflow分布式环境，siamese lstm学术论文的转化，主要是tensorflow 代码实施，模型训练
基于句子对儿的siamese lstm的相似度解决方案的一次成功探索。