实践2:如何使用word2vec和k-means聚类寻找相似的城市
理解业务
一个需求:把相似的目的地整理出来,然后可以通过这些相似目的地做相关推荐,或者是相关目的地的推荐
准备数据
Word2Vec算法:可以学习输入的文本,并输出一个词向量模型
对数据进行清洗,去出异常的数据;对文本内容进行分词;把数据存储在文本文件中
训练Word2Vec模型
import gensim
import os
import re
import sys
import multiprocessing #引入多线程操作
from time import time class getSentence(object):
#初始化,获取文件路径
def __init__(self,dirname):
self.dirname=dirname #构建一个迭代器
def __iter__(self):
for root,dirs,files in os.walk(self.dirname):
for filename in files:
file_path = root +'/'+filename
for line in open(file_path):
try:
#清除异常数据,主要是去除空白符以及长度为0的内容
s_line = line.strip()
if s_line=="":
continue
#把句子拆成词
word_line = [word for word in s_line.split()]
yeild word_line
except Exception:
print("catch exception")
yeild ""
if __name__='__main__':
#记录一个起始时间
begin=time()
#获取句子迭代器
setences=getSentences("traindata")
#训练word2vec模型,使用句子迭代器作为语料的输入,设定的最终向量长度为200维;窗口长度为15;词的最小计数为10,词频少于10的词不会进行计算;使用并行处理
model=
gensim.models.Word2Vec(sentences,size=200,window=15,min_count=10,workers=multiprocessing.cpu_count())
#模型存储,这块记得预先新建一个model路径,或者增加一段代码来识别是否已经创建,如果没有则新建一个路径
model.save("model/word2vec_gensim")
model.wv.save_word2vec_format("model/word2vec_org",
"model/vocabulary",binary=False)
end.time()
#输出运算所用时间
print("Total processing time:%d seconds" % (end-begin))
训练k-means模型
import gensim
from sklearn.cluster import KMeans
from sklearn.externals import joblib
from time import time
#加载之前已经训练好的word2vec模型
def load_model():
model=
gensim.models.Word2Vec.load('../word2vec/model/word2vec_gensim')
return model
#加载城市名称词库
fd=open("mddwords.txt","r")
filterword=[]
for line in fd.readlines():
line=line.strip()
fliterword.append(line)
return fliterword
if __name__=="__main__":
start=time()
#加载word2vec模型
model=load_filterword()
#输出词汇表长度
print(len(filterword))
wordvector=[]
filterkey={}
#获取城市名称词库的词向量
for word in filterword:
wordvector.append(model[word])
filterkey[word]=model[word]
#输出词汇数量
print(len(wordvector))
#训练K-means模型,这里设置的聚类数为2000,最大迭代次数为100,n_jobs设置的是有多少个任务同时在跑,这样可以进行多组实验来消除初始化点带来的影响
clf=KMeans(n_clusters=2000,max_iter=100,n_jobs=10)
s=clf.fit_predict(wordvector)
#把模型保存下来
joblib.dump(clf,"kmeans_mdd2000.pkl")
labels=clf.labels_
labellist=labels.tolist()
print(clf.inertia_)
#把所有城市名称的聚类标签保存下来
fp=open("label_mdd2000",'w')
fp.write(str(labellist))
fp.close()
#把所有城市名称保存下来,其中顺序与聚类标签顺序一致
fp1=open("keys_mdd2000",'w')
for k in filterkey:
fp1.write(key+'\n')
print("over")
end=time()
print("use time")
print(end-start)
最终确定的聚类簇数是100
把这些数据存储到数据库中,并在具体的业务中进行应用
实践2:如何使用word2vec和k-means聚类寻找相似的城市的更多相关文章
- 机器学习算法与Python实践之(六)二分k均值聚类
http://blog.csdn.net/zouxy09/article/details/17590137 机器学习算法与Python实践之(六)二分k均值聚类 zouxy09@qq.com http ...
- 机器学习算法与Python实践之(五)k均值聚类(k-means)
机器学习算法与Python实践这个系列主要是参考<机器学习实战>这本书.因为自己想学习Python,然后也想对一些机器学习算法加深下了解,所以就想通过Python来实现几个比较常用的机器学 ...
- ML: 聚类算法-K均值聚类
基于划分方法聚类算法R包: K-均值聚类(K-means) stats::kmeans().fpc::kmeansruns() K-中心点聚类(K-Medoids) ...
- 【转】算法杂货铺——k均值聚类(K-means)
k均值聚类(K-means) 4.1.摘要 在前面的文章中,介绍了三种常见的分类算法.分类作为一种监督学习方法,要求必须事先明确知道各个类别的信息,并且断言所有待分类项都有一个类别与之对应.但是很多时 ...
- 5-Spark高级数据分析-第五章 基于K均值聚类的网络流量异常检测
据我们所知,有‘已知的已知’,有些事,我们知道我们知道:我们也知道,有 ‘已知的未知’,也就是说,有些事,我们现在知道我们不知道.但是,同样存在‘不知的不知’——有些事,我们不知道我们不知道. 上一章 ...
- 机器学习实战5:k-means聚类:二分k均值聚类+地理位置聚簇实例
k-均值聚类是非监督学习的一种,输入必须指定聚簇中心个数k.k均值是基于相似度的聚类,为没有标签的一簇实例分为一类. 一 经典的k-均值聚类 思路: 1 随机创建k个质心(k必须指定,二维的很容易确定 ...
- Python实现kMeans(k均值聚类)
Python实现kMeans(k均值聚类) 运行环境 Pyhton3 numpy(科学计算包) matplotlib(画图所需,不画图可不必) 计算过程 st=>start: 开始 e=> ...
- 机器学习理论与实战(十)K均值聚类和二分K均值聚类
接下来就要说下无监督机器学习方法,所谓无监督机器学习前面也说过,就是没有标签的情况,对样本数据进行聚类分析.关联性分析等.主要包括K均值聚类(K-means clustering)和关联分析,这两大类 ...
- R与数据分析旧笔记(十五) 基于有代表性的点的技术:K中心聚类法
基于有代表性的点的技术:K中心聚类法 基于有代表性的点的技术:K中心聚类法 算法步骤 随机选择k个点作为"中心点" 计算剩余的点到这个k中心点的距离,每个点被分配到最近的中心点组成 ...
随机推荐
- (全局npmrc)nrm、npmrc、package-lock.json 的优先级
npmrc 测试 nrm.npmrc 的优先级 实验 1. 没有设置 nrm. 默认设置 registry 为 https://registry.npmjs.org/ 下载的所有包都是通过以上域名获取 ...
- ORM要用到的数组转对象和对象转数组函数
<?php function array2object($array) { if (is_array($array)) { $obj = new StdClass(); foreach ($ar ...
- 直播流媒体ums
准备工具 下载 UltrantMediaServer服务器 FlashMediaLiveEncoder测试直播工具 第一步 安装 UltrantMediaServer服务器 第二步 打开网也输入 ...
- maven下使用jstl标签(1.2)版本
使用的是1.2版本的,只需要一个jstl-1.2.jar jsp中头部加入<%@ taglib prefix="c" uri="http://java.sun ...
- 1python基础语法_11模块
http://www.runoob.com/python3/python3-module.html 模块是一个包含所有你定义的函数和变量的文件,其后缀名是.py.模块可以被别的程序引入,以使用该模块中 ...
- 以鶸ice为例,手撸一个解释器(一)明确目标
代码地址 # HelloWorld.ice print("hello, world") 前言(废话) 其实从开始学习编译原理到现在已经有快半年的时间了,但是其间常常不能坚持看下去龙 ...
- MySQL数据库初识、下载使用(针对库、表、记录的增删改查)
今日内容概要 数据演变史 数据库软件的本质 MySQL简介 下载与安装 基本配置 基本SQL语句 内容详细 1.数据演变史 # 1.单独的文本文件 没有固定的存放位置和格式 文件名:user.txt ...
- Solution -「Gym 102956A」Belarusian State University
\(\mathcal{Description}\) Link. 给定两个不超过 \(2^n-1\) 次的多项式 \(A,B\),对于第 \(i\in[0,n)\) 个二进制位,定义任意一个二元 ...
- UVM宏
1.注册宏 // 注册object类 `uvm_object_utils(类名) `uvm_object_parm_utils(类名) `uvm_object_utils_begin(类名) // 注 ...
- DBLink的使用(从A库使用SQL查询B库的数据)
DBLink的使用 情景:今天我需要从A数据库查询B数据库的数据,进行一些数据比对和联合查询的操作. 所以用到的DBLink,在此记录一下使用流程,希望能够帮助下一个小白,一步到位的解决问题. 一句话 ...