nlp算法
人工智能算法大体上来说可以分类两类:基于统计的机器学习算法(Machine Learning)和深度学习算法(Deep Learning)
总的来说,在sklearn中机器学习算法大概的分类如下:
1. 纯算法类
(1).回归算法
(2).分类算法
(3).聚类算法
(4)降维算法
(5)概率图模型算法
(6)文本挖掘算法
(7)优化算法
(8)深度学习算法
2.建模方面
(1).模型优化
(2).数据预处理
二、详细算法
1.分类算法
(1).LR (Logistic Regression,逻辑回归又叫逻辑分类)
(2).SVM (Support Vector Machine,支持向量机)
(3).NB (Naive Bayes,朴素贝叶斯)
(4).DT (Decision Tree,决策树)
- 1).C4.5
- 2).ID3
- 3).CART
(5).集成算法
- 1).Bagging
- 2).Random Forest (随机森林)
- 3).GB(梯度提升,Gradient boosting)
- 4).GBDT (Gradient Boosting Decision Tree)
- 5).AdaBoost
- 6).Xgboost
(6).最大熵模型
2.回归算法
(1).LR (Linear Regression,线性回归)
(2).SVR (支持向量机回归)
(3). RR (Ridge Regression,岭回归)
3.聚类算法
(1).Knn
(2).Kmeans 算法
(3).层次聚类
(4).密度聚类
4.降维算法
(1).SGD (随机梯度下降)
5.概率图模型算法
(1).贝叶斯网络
(2).HMM
(3).CRF (条件随机场)
6.文本挖掘算法
(1).模型
- 1).LDA (主题生成模型,Latent Dirichlet Allocation)
- 2).最大熵模型
(2).关键词提取
- 1).tf-idf
- 2).bm25
- 3).textrank
- 4).pagerank
- 5).左右熵 :左右熵高的作为关键词
- 6).互信息:
(3).词法分析
- 1).分词
– ①HMM (因马尔科夫)
– ②CRF (条件随机场) - 2).词性标注
- 3).命名实体识别
(4).句法分析
- 1).句法结构分析
- 2).依存句法分析
(5).文本向量化
- 1).tf-idf
- 2).word2vec
- 3).doc2vec
- 4).cw2vec
(6).距离计算
- 1).欧氏距离
- 2).相似度计算
7.优化算法
(1).正则化
- 1).L1正则化
- 2).L2正则化
8.深度学习算法
(1).BP
(2).CNN
(3).DNN
(3).RNN
(4).LSTM
三、建模方面
1.模型优化·
- (1).特征选择
- (2).梯度下降
- (3).交叉验证
- (4).参数调优
- (5).模型评估:准确率、召回率、F1、AUC、ROC、损失函数
2.数据预处理
- (1).标准化
- (2).异常值处理
- (3).二值化
- (4).缺失值填充: 支持均值、中位数、特定值补差、多重插补
nlp算法的更多相关文章
- 干货 | NLP算法岗大厂面试经验与路线图分享
最近有好多小伙伴要面经(还有个要买简历的是什么鬼),然鹅真的没有整理面经呀,真的木有时间(。 ́︿ ̀。).不过话说回来,面经有多大用呢?最起码对于NLP岗位的面试来说,作者发现根本不是面经中说的样子 ...
- NLP | 算法 学习资料整理
UPDATE TIME: 2019-12-12 17:06:32 NLP: 对话系统: [ ] https://www.cnblogs.com/jiangxinyang/p/10789512.html ...
- nlp算法工程师养成记 目标要求
时间规定: 2018.12.07-2018.02.15 能力养成: linux, shell python, c++(会多少算多少) tensorflow, keras, pytorch(tf优先) ...
- NLP算法工程师(实习生)面试总结(持续更新)
爱奇艺 1. attention<attention is all you need> 2. 相关项目 3. 逻辑回归 4. linux的指令(重命名文件,vim替换,vim指向文章最末行 ...
- NLP 第10章 基于深度学习的NLP 算法
- 一些NLP相关的JD,作参考
NLP 应用研发工程师 - AI Lab工作城市: 上海岗位描述:1.用户搜索意图识别,分词和词性标注,实体词标注 2.利用机器学习.NLP 技术优化文本分类.语义理解及信息抽取岗位要求:1.有自然语 ...
- 郑捷2017年电子工业出版社出版的图书《NLP汉语自然语言处理原理与实践》
郑捷2017年电子工业出版社出版的图书<NLP汉语自然语言处理原理与实践> 第1章 中文语言的机器处理 1 1.1 历史回顾 2 1.1.1 从科幻到现实 2 1.1.2 早期的探索 3 ...
- 基于Neo4j的个性化Pagerank算法文章推荐系统实践
新版的Neo4j图形算法库(algo)中增加了个性化Pagerank的支持,我一直想找个有意思的应用来验证一下此算法效果.最近我看Peter Lofgren的一篇论文<高效个性化Pagerank ...
- 【NLP】老司机带你入门自然语言处理
自然语言处理是一门用于理解人类语言.情感和思想的技术,被称为是人工智能皇冠上的明珠. 随着深度学习发展,自然语言处理技术近年来发展迅速,在技术上表现为BERT.GPT等表现极佳的模型:在应用中表现为c ...
随机推荐
- content="IE=Edge"是什么意思?
永远以最新的IE版本模式来显示网页 <meta http-equiv="X-UA-Compatible" content="IE=7">#以上代码告 ...
- wpf防止界面卡死
AsyncInvokeHelper.CallbackInvoke(new Action(() => { System.Threading.Tasks.Task.Factory.StartNew( ...
- 找到树中指定id的所有父节点
const data = [{ id: 1, children: [{ id: 2, children: [{ id: 3, }, { id: 4, }], }], }, { id: 5, child ...
- 讨论关于RAID以及RAID对于存储的影响
定义及作用 RAID是Redundent Array of Inexpensive Disks的缩写,直译为“廉价冗余磁盘阵列”,也简称为“磁盘阵列”.后来RAID中的字母I被改作了Independe ...
- mysql 连接服务器报ERROR 1130 ,mysql服务正常运行
今天办公电脑的mysql罢工了,折腾了半天,记录一下. 错误如下: ERROR 1130 (HY000): Host 'localhost' is not allowed to connect to ...
- Spring Boot AOP 简易操作日志管理
AOP (Aspect Oriented Programming) 面向切面编程. 业务有核心业务和边缘业务. 比如用户管理,菜单管理,权限管理,这些都属于核心业务. 比如日志管理,操作记录管理,这些 ...
- 【转】JVM类装载机制的解析,热更新的探讨(二)
同样,一个Class对象必须知道自己的超类.超级接口.因此,Class对象会引用自己的超类和超级接口的Class对象.这种引用一定是实例引用.(实际上,超类.超级接口的引用也存储在常量池中,但为了区分 ...
- MFC GDI+显示GIF文件《转》
在头文件里面添加: Image* image; GUID Guid ; UINT frameCount; UINT framePos;ULONG_PTR gdiplusToken; afx_msg v ...
- 通过字节码分析this关键字以及异常表的作用
1.创建MyTest3类 public class MyTest3 { public void test(){ try { InputStream is = new FileInputStream(& ...
- 枚举(Enum)
enum是一个全新的“类”. 枚举(Enum): 我们所定义的每个枚举类型都继承自java.lang.Enum类.枚举中的每个成员都是public static final的. 当您使用“enum”定 ...