Mahout文本向量化
在文本聚类之前,首先要做的是文本的向量化。该过程涉及到分词,特征抽取,权重计算等等。Mahout 提供了文本向量化工具。由于Mahout 向量化算法要处理的文件是Hadoop SequenceFile ,需要将普通的文本文件转成SequenceFile格式,然后在向量化。
一、序列化
API
SequenceFilesFromDirectory.main(args); |
|
--input (-i) |
文件存放路径 |
-output (-o) |
输出文件路径 |
--overwrite (-ow) |
是否清空输出目录 |
--charset (-c) |
默认UTF-8 |
示例
String [] arg ={"-i","forclusters","-o","se","-ow"}; SequenceFilesFromDirectory.main(arg); |
二、向量化
API
SparseVectorsFromSequenceFiles.main(args); |
|
--minSupport (-s) |
词的最小支持度 |
--analyzerName (-a) |
Lucene分词器类权限命名 |
--chunkSize (-chunk) |
块大小 |
--output (-o) |
输出目录 |
--input (-i) |
输入目录 |
--minDF (-md) |
文档的最小DF值 |
--maxDFPercent (-x) |
最大DF频率 |
--weight (-wt) |
权重,TFIDF,或TF |
--minLLR (-ml) (Optional) |
最小log-Likelihood |
--numReducers (-nr) |
reduce个数 |
--maxNGramSize (-ng) |
最大n-gram数 |
--overwrite (-ow) |
是否覆盖outPut下的文件 |
--sequentialAccessVector(-seq) (Optional) |
是否输出为sequentialAccessVector |
--namedVector(-nv) (Optional) |
是否输出为namedVector |
--logNormalize(-lnorm) (Optional) |
输出结果向量取log |
--stopWordsFile (-sw) |
停用词词典文件路径 |
示例
String [] args ={"-i",”/seq”, "-o",”/vec” "-a","org.apache.lucene.analysis.cn.smart .SmartChineseAnalyzer", "-md",4), "-ow","-ng",4), "-wt",”TFIDF”, "-nr",4), "-sw",”/stopwprds.txt” }; SparseVectorsFromSequenceFiles.main(args); |
输出结果
名称 |
Key类型 |
Value类型 |
说明 |
tokenized-documents |
文档名(org.apache.hadoop.io.Text) |
词数组(org.apache.mahout. common.StringTuple) |
分词后的的文本,每条记录代表一篇文档 |
dictionary.file-0 |
单词(org.apache.hadoop.io.Text) |
单词id (org.apache.hadoop. io.IntWritable) |
文本集的特征词词典 |
wordcount |
单词(org.apache.hadoop.io.Text) |
词频 (org.apache.hadoop. io.LongWritable) |
特征词词频统计 |
tf-vectors |
文档名(org.apache.hadoop.io.Text) |
文档的tf向量(org.apache.mahout. math.VectorWritable) |
每篇文档的Tf向量 |
df-count |
单词id (org.apache.hadoop.io.IntWritable) |
单词的文档频率(org.apache. hadoop.io.LongWritable) |
每个单词的文档频率,即包含这个单词的文档个数 |
frequency.file-0 |
单词id (org.apache.hadoop.io.IntWritable) |
单词的文档频率(org.apache. hadoop.io.LongWritable) |
仍是文档频率,只是对df-count中的文件进行分块 |
tfidf-vectors |
文档名(org.apache.hadoop.io.Text) |
文档的tfidf向量(org.apache.mahout.math.VectorWritable) |
每篇文档的Tfidf向量 |
Mahout文本向量化的更多相关文章
- 自然语言处理--中文文本向量化counterVectorizer()
1.载入文档 #!/usr/bin/python # -*- coding: utf-8 -*- import pandas as pd import re import jieba from skl ...
- 文本向量化及词袋模型 - NLP学习(3-1)
分词(Tokenization) - NLP学习(1) N-grams模型.停顿词(stopwords)和标准化处理 - NLP学习(2) 之前我们都了解了如何对文本进行处理:(1)如用NLTK文 ...
- NLP 第7章 文本向量化
- 基于sklearn进行文本向量化
sklearn中,计数向量化用CountVectorizer,tfidf向量化用TfidfVectorizer: import pickle from sklearn.feature_extracti ...
- Mahout canopy聚类
Canopy 聚类 一.Canopy算法流程 Canopy 算法,流程简单,容易实现,一下是算法 (1)设样本集合为S,确定两个阈值t1和t2,且t1>t2. (2)任取一个样本点p,作为一个C ...
- Mahout 系列之--canopy 算法
Canopy 算法,流程简单,容易实现,一下是算法 (1)设样本集合为S,确定两个阈值t1和t2,且t1>t2. (2)任取一个样本点p属于S,作为一个Canopy,记为C,从S中移除p. (3 ...
- 基于KNN的newsgroup 18828文本分类器的Python实现
还是同前一篇作为学习入门. 1. KNN算法描述: step1: 文本向量化表示,计算特征词的TF-IDF值 step2: 新文本到达后,根据特征词确定文本的向量 step3 : 在训练文本集中选出与 ...
- LSTM实现中文文本情感分析
1. 背景介绍 文本情感分析是在文本分析领域的典型任务,实用价值很高.本模型是第一个上手实现的深度学习模型,目的是对深度学习做一个初步的了解,并入门深度学习在文本分析领域的应用.在进行模型的上手实现之 ...
- 4. 文本相似度计算-CNN-DSSM算法
1. 文本相似度计算-文本向量化 2. 文本相似度计算-距离的度量 3. 文本相似度计算-DSSM算法 4. 文本相似度计算-CNN-DSSM算法 1. 前言 之前介绍了DSSM算法,它主要是用了DN ...
随机推荐
- Python列表函数&方法
Python包含以下函数: 序号 函数 1 cmp(list1, list2)比较两个列表的元素 2 len(list)列表元素个数 3 max(list)返回列表元素最大值 4 min(list)返 ...
- 学习笔记:Zookeeper 应用案例(上下线动态感知)
1.Zookeeper 应用案例(上下线动态感知) 8.1 案例1--服务器上下线动态感知 8.1.1 需求描述 某分布式系统中,主节点可以有多台,可以动态上下线 任意一台客户端都能实时感知到主节点服 ...
- Redis源码学习:字符串
Redis源码学习:字符串 1.初识SDS 1.1 SDS定义 Redis定义了一个叫做sdshdr(SDS or simple dynamic string)的数据结构.SDS不仅用于 保存字符串, ...
- DOS界面下的翻译软件制作
准备 素材 依赖 接口 地址 参数 返回值解析 编码及测试 功能代码 运行脚本 环境变量 结果展示 英语转汉语 汉语转英语 总结 昨天看到一篇关于Linux下的桌面词典的文章,于是就想实现一个Wind ...
- Rxjava +Retrofit 你需要掌握的几个技巧,Retrofit缓存,RxJava封装,统一对有无网络处理,异常处理, 返回结果问题
本文出处 :Tamic 文/ http://blog.csdn.net/sk719887916/article/details/52132106 Rxjava +Rterofit 需要掌握的几个技巧 ...
- Excel 数据验证宏
Sub 宏1() ' ' 宏1 宏 ' ' With Selection.Validation .Delete .Add Type:=xlValidateList, AlertStyle:=xlVal ...
- 关于Windows下程序执行的说明
估计有很多人首次都是通过Windows(微软的操作系统)来使用计算机的,Windows的设计导致很多人认为所有程序只要双击一下就可以被正确执行了,所以一大堆初学程序设计的童鞋就会遇到些疑问: 为什么双 ...
- Android新建工程步骤(AndroidStudio)
1.在 Android Studio 中,创建新项目: 如果您未打开项目,请在 Welcome to Android Studio 窗口中,点击 Start a new Android Studio ...
- Spark技术内幕: Shuffle详解(一)
通过上面一系列文章,我们知道在集群启动时,在Standalone模式下,Worker会向Master注册,使得Master可以感知进而管理整个集群:Master通过借助ZK,可以简单的实现HA:而应用 ...
- iOS下JS与OC互相调用(五)--UIWebView + WebViewJavascriptBridge
WebViewJavascriptBridge是一个有点年代的JS与OC交互的库,使用该库的著名应用还挺多的,目前这个库有7000+star.我去翻看了它的第一版本已经是4年前了,在版本V4.1.4以 ...