TF-IDF

1.    概念

 

2.    原理

 

3.    java代码实现思路

数据集:
 
三个MapReduce
第一个MapReduce:(利用ik分词器,将一篇博文,也就是一条记录中的content进行词的拆分)
    第一个MapReduce最终运行的结果:
                                   1. 得到数据集中微博的总数
                                   2. 得到每个词在当前所属微博的TF值 
       
   Mapper端:key:LongWritable(偏移量)   value:3823890314914825    今天天气晴好,姐妹们约起,一起去逛街。
                                  步骤一:拆分读取(按照'\t'), 得到id, content    
                                  步骤二:利用ik分词器对内容进行分词(今天,天气,姐妹),遍历分词结果,对分词结果中的每一个             词输出(w_id, 1) 
                                  步骤三:当对内容进行遍历完成之后,记录当前这一条微博,输出(count,1)
 
   第一个MR自定义分区:extends HashPartitioner<Text, IntWritable>,重写getPartition
                                  默认的分区规则:key.hash()%reduce的个数
                                  这里对key的值进行判断,如果key.equals("count"),交给最后一个reduce,否则,交给reduceCount-1
                            
   Reducer端:第一种--key:w_id   value:{1,1,1}     第二种--key:count   value{1,1,1.....}
                                  步骤一:将经过shuffle过程后的数据,进行整合(key相同的值为一组,对迭代器中的值进行遍历)
                                  步骤二:将reduce后的结果进行写出,context.write(key, new IntWritable(sum))
                                                 !注意  
                                                           因为这里在FirstJob中设置了Reduce的个数 (job.setNumReduceTasks(4)),所以最后会有                                                              四个文件输出,而key=count又指定了Reduce,所以key:count   value{1,1,1.....}在最后一个文                                                                件,key:w_id   value:{1,1,1}在前三个文件   
       
第二个MapReduce:   从第一个MapReduce输出的结果中读取,作为本次的输入
   第二个MapReduce最终运行的结果:
                                   1. 得到每一个词在数据集中多少条微博中出现过,即DF值 
 
   Mapper端:key:LongWritable(偏移量)   value:今天_3823890314914825   2
                                  步骤一:获取当前mapper task的数据片段(split),根据FlieSplit的所属文件名进行判断,保证不是最后一个文 件(因为最后一个文件的内容是count 1075
                                  步骤二:这时mapper端输入的value值是今天_3823890314914825   2 
对数据处理,按照“\t”切割,再按照“_”切割,输出context.write(今天,1)//注意这里将要统计的是包含今天的文件总数,所以不关注微博id
 
   Reducer端:key:w  value:{1,1,1}     数据样例:key=今天,value={1,1,1,1,1}  //每一个1表示数据集中有一条微博包含今天这个词
                                  步骤一:将经过shuffle过程后的数据,进行整合(key相同的值为一组,对迭代器中的值进行遍历)
                                  步骤二:将reduce后的结果进行写出,context.write(key, new IntWritable(sum))
   
   经过第二个MapReduce操作后,就获得了每一个词的df(document frequency)值   
                                        
第三个MapReduce:   目的-->计算TF*IDF值
   第三个MapReduce最终运行的结果:
                                   1. 得到每一条微博中,每个词的TF-IDF值
                                   结果样例:{3823890314914825 今天:2.78834   逛街:3.98071   姐妹:1.98712}
        技巧:
                第一个MapReduce输出的第四个文件(count  1075),计算每一个单词的TF-IDF值都需要用到,所以将这个文件在job运  时加载到内存中以提高运行效率
                第二个MapReduce输出的文件-->每一个单词在数据集中多少条微博出现过,即df值(今天  5),因为它里面包括常用的词  汇,不同于数据集,并不是很大也可以加载到内存,提高程序的执行效率

        1. // 把微博总数加载到内存
  1. job.addCacheFile(newPath("/user/tfidf/output/weibo1/part-r-00003")
  2. .toUri());
  3. // 把df加载到内存
  4. job.addCacheFile(newPath("/user/tfidf/output/weibo2/part-r-00000")
  5. .toUri());
 
   Mapper端:key:LongWritable(偏移量)   value:今天_3823890314914825   2
                                  步骤一:在正式执行map方法之前先执行setup(Context context)方法
                                                 目的:将加载到内存中的微博总数,以及DF值,封装到Map对象中(cmap,df),便于map的操作
                                  步骤二:开始执行map操作,因为mapper端的输入是第一次MapReduce的输出,所以还需要进行判断,是否   是最后一个文件(count,1075)
                                                 对数据处理,按照“\t”切割,得到tf值-->v[1]=2,同时将v[0]按照“_”切割,得到单词(今  天)和微博id(3823890314914825)
                                                 从cmap中获取“count”,从df中获取该单词的df值,在根据该单词的tf值,计算该单词的TF*IDF值
                                                     double s = tf * Math.log(cmap.get("count") / df.get(w));
                                   步骤三:将数据输出,key=微博的id,value=(w:tf*idf值)
 
   Reducer端:key=微博的id, value=(w:tf*idf值)    
                        数据样例:key=3823890314914825,value={今天:2.89101, 逛街:3.08092}
 
                                   步骤一:将经过shuffle过程后的数据,进行整合(key相同的值为一组,对迭代器中的值进行遍历,定义StringBuffer,对迭代器中每一个单词以及对应的TF*IDF值拼接
                                   步骤二:将reduce后的结果进行写出,context.write(key, new Text(sb.toString()))
 

4.    商家如何做到精准营销?

    经过以上过程,我们拿到的最终数据是3823890314914825  {今天:2.89101, 逛街:3.08092},即每一条微博中每个词的TF*IDF值
    比如韩国料理要推送大骨汤,这时候只需要对数据集中的每一条微博中的每一个词对应的TFIDF值做一个降序,然后取前3位,
对整个数据集中的数据遍历,凡是TF*IDF值前三位包含大骨汤的,就是商家要推送的对象
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 

TF-IDF_MapReduceJava代码实现思路的更多相关文章

  1. ItemCF_基于物品的协同过滤_MapReduceJava代码实现思路

    ItemCF_基于物品的协同过滤 1.    概念 2.    原理 如何给用户推荐? 给用户推荐他没有买过的物品--103 3.    java代码实现思路 数据集: 第一步:构建物品的同现矩阵 第 ...

  2. PageRank_网页排名_MapReduceJava代码实现思路

    PageRank 1.    概念 2.    原理   3.    java代码实现思路   1.定义收敛标准     每次算出新的pr-oldpr=差值 ,所有页面的差值累加 ,除以pagecou ...

  3. iOS开发:代码通用性以及其规范 第一篇(附带,自定义UITextView\进度条\双表显示\瀑布流 代码设计思路)

    在iOS团队开发中,我见过一些人的代码,也修改过他们的代码.有的人的代码写的非常之规范.通用,几乎不用交流,就可以知道如何修改以及在它基础上扩展延生.有的人的代码写的很垃圾,一眼看过去,简直会怀疑自己 ...

  4. Android版网易云音乐唱片机唱片磁盘旋转及唱片机机械臂动画关键代码实现思路

     Android版网易云音乐唱片机唱片磁盘旋转及唱片机机械臂动画关键代码实现思路 先看一看我的代码运行结果. 代码运行起来初始化状态: 点击开始按钮,唱片机的机械臂匀速接近唱片磁盘,同时唱片磁盘也 ...

  5. PAT 1034 有理数四则运算(20)(代码框架+思路+测试点错误分析)

    1034 有理数四则运算(20)(20 分)提问 本题要求编写程序,计算2个有理数的和.差.积.商. 输入格式: 输入在一行中按照"a1/b1 a2/b2"的格式给出两个分数形式的 ...

  6. JS初学之-代码精简思路

    1.差不多的代码,观察其不一样的地方,使用变量存起来,方便替代. 2.将其存入函数之中方便调用.

  7. 「赛后补题」HBCPC2018题目代码与思路简析

    这次比赛(2018年第二届河北省大学生程序设计竞赛)虽然没有打,但是题目还是要写的.未完成的题目(还差比较硬核的四题)和思路分析会陆续更新完. Problem A 2011 Mex Query /* ...

  8. PAT1080 MOOC期终成绩 (25分) ——同样参考了柳婼大神的代码及思路,在自己的代码上做了修改,还是很复杂

    1080 MOOC期终成绩 (25分)   对于在中国大学MOOC(http://www.icourse163.org/ )学习“数据结构”课程的学生,想要获得一张合格证书,必须首先获得不少于200分 ...

  9. JS实现登陆验证的主要代码及思路

    window.onload = function(){ // 获取input标签 var alInput = document.getElementsByTagName("input&quo ...

随机推荐

  1. C# 命名空间和程序集

    一.命名空间 1.通过使用using关键字引入命名空间,减少代码量 命名空间对相关的类型进行逻辑分组,通过命名空间能快速的定位到相关的类型,例如:在System.IO命名空间下,定义了所有I/O操作的 ...

  2. maven jar包冲三种解决方式

    初次启动应用,一直包如下错误,起初怀疑引入pandora 版本冲突. Exception in thread "main" java.lang.NoSuchMethodError: ...

  3. python爬虫如何爬知乎的话题?

    因为要做观点,观点的屋子类似于知乎的话题,所以得想办法把他给爬下来,搞了半天最终还是妥妥的搞定了,代码是python写的,不懂得麻烦自学哈!懂得直接看代码,绝对可用 #coding:utf-8 fro ...

  4. Centos 7 防火墙firewalld命令

    今天自己在Hyper-v下搭建三台Linux服务器集群,用于学习ELKstack(即大数据日志解决技术栈Elasticsearch,Logstash,Kibana的简称),下载的Linux版本为cen ...

  5. python中使用递归实现反转链表

    反转链表一般有两种实现方式,一种是循环,另外一种是递归,前几天做了一个作业,用到这东西了. 这里就做个记录,方便以后温习. 递归的方法: class Node: def __init__(self,i ...

  6. Celery(四)定时任务

    要定时或者周期性的执行任务,可以使用linux的crontab.Celery也提供了类似的Periodic Tasks功能. Celery beat Celery使用celery beat作为任务调度 ...

  7. Mongodb高级查询【二】

    上一篇文章,写了mongodb常规操作,继续写入,本章主要讲高级查询,文本,聚集,大数据查询. Mongodb的查询语法是很多的,是NOSQL队伍中比较丰富的一个.当然有很多查询跟关系型查询无法相比. ...

  8. 第十四章:Python の Web开发基础(一) HTML与CSS

    本課主題 HTML 介绍 CSS 介绍 HTML 介绍 HTML 的头部份,重点: 定义HTML 的编码:<meta charset="UTF-8"/> 定义标题: & ...

  9. JAVA中的设计模式三(策略模式)

    问题: 如何让算法和对象分开来,使得算法可以独立于使用它的客户而变化?   方案: 把一个类中经常改变或者将来可能改变的部分提取出来,作为一个接口,然后在类中包含这个对象的实例,这样类的实例在运行时就 ...

  10. Jerry的通过CDS view + Smart Template 开发Fiori应用的blog合集

    S4/HANA里有一个新的UI框架叫做Smart template, 配合ABAP后台的CDS view技术,能够让developer以Metadata driven的方式来开发Fiori应用, 这种 ...