mapreduce 找到共同好友

2024-10-05

python版mapreduce题目实现寻找共同好友

看到一篇不知道是好好玩还是好玩玩童鞋的博客,发现一道好玩的mapreduce题目,地址http://www.cnblogs.com/songhaowan/p/7239578.html 如图由于自己太笨,看到一大堆java代码就头晕.心慌,所以用python把这个题目研究了一下. 题目:寻找共同好友.比如A的好友中有C,B的好友中有C,那么C就是AB的共同好友. A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E

mapreduce 查找共同好友

A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J 求出哪些人两两之间有共同好友,及他俩的共同好友都是谁例如A-B:C,E A-E:B,C,D 一种错误的理解就是E在A的还有列表中,那么A也在E的列表,且A和E同时有的好友才是共同好友 ,如果按照这个观点思考下去就简

用Mapreduce求共同好友

import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.ma

MapReduce寻找共同好友

1.测试文件 A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J 2.方法 2-1.方法一: 1.将域用户和好友分别作为值和键输出 {B,C,D,F,E,O}:A {A,C,E,K}:B 2.可以看出:B,C,D,F,E,O都有共同好友A, 3.把A的好友两两组合作为

mapreduce求共同好友

逻辑分析以下是qq的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的) A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J 求出哪些人两两之间有共同好友,及他俩的共同好友都有谁? 解题思路: 第一步 map 读一行 A:B,C,D,

MapReduce案例-好友推荐

用过各种社交平台(如QQ.微博.朋友网等等)的小伙伴应该都知道有一个叫 "可能认识" 或者 "好友推荐" 的功能(如下图).它的算法主要是根据你们之间的共同好友数进行推荐,当然也有其他如爱好.特长等等.共同好友的数量越多,表明你们可能认识,系统便会自动推荐.今天我将向大家介绍如何使用MapReduce计算共同好友算法假设有以下好友列表,A的好友有B,C,D,F,E,O; B的好友有A,C,E,K 以此类推那我们要如何算出A-O用户每个用户之间的共同好友呢? A

19-hadoop-fof好友推荐

好友推荐的案例, 需要两个job, 第一个进行好友关系度计算, 第二个job将计算的关系进行推荐 1, fof关系类 package com.wenbronk.friend; import org.apache.hadoop.io.Text; /** * 定义fof关系 * @author root * */ public class Fof extends Text{ public Fof() { super(); } /**' * 不论谁在前,返回一致的顺序 * @param a * @pa

SQL Server 利用锁提示优化Row_number()-程序员需知

网站中一些老页面仍采用Row_number类似的开窗函数进行分页处理,此时如果遭遇挖坟帖的情形可能就需要漫长的等待且消耗巨大.这里给大家介绍根据Row_number()特性采用特定锁Hint提升查询速度. 直接上菜脚本环境可在SQL Server优化技巧之SQL Server中的"MapReduce"找到如下查询在分页中比较常见 set statistics time on select * from ( select ProductID, rn = ROW_NUMBER() OV

神逸之作：国产快速启动软件神品ALTRun

http://xbeta.info/altrun.htm 作者: ET民工和塞壬日期: 2010-09-15 分类: windows 标签: quick-launch <神逸之作:国产快速启动软件神品ALTRun> 本文作者:塞壬 2010年8月首发于善用佳软目录一.ALTRun软件简介1.1 界面观赏1.2 界面讲解二.ALTRun的基本使用方法2.1 超多方式执行快捷项(入门必读小节一)2.2 迅捷方便的定位方法(入门必读小节二)2.3 过滤筛选和智能匹配2.4 人性化的匹配设定2.5

Win7 Eclipse Hadoop2.4插件配置

准备工作: 1.下载hadoop2x-eclipse-plugin-master.zip Github地址:https://github.com/winghc/hadoop2x-eclipse-plugin 百度网盘地址:http://www.pan1234.com/result.jsp?wp=0&op=0&ty=gn&q=hadoop2x-eclipse-plugin 去自己360云盘备份软件中下载. 2.WinSCP将Hadoop-2.4.0主文件夹复制到Win7系统中 3.安

PJSUA2开发文档--第十二章 PJSUA2 API 参考手册

12 PJSUA2 API 参考手册 12.1 endpoint.hpp PJSUA2基本代理操作. namespace pj PJSUA2 API在pj命名空间内. 12.1.1 class Endpoint #include <endpoint.hpp> 端点表示pjsua库的一个实例. 在应用程序中只能有一个pjsua库的实例,因此这个类是一个单例. 公有函数 1)Endpoint() 默认构造函数. 2)virtual ~Endpoint() virtual 析构函数 3)Vers

PJSUA2开发文档--第五章帐户（号）Accounts

第五章帐户(号) 帐户提供正在使用该应用程序的用户的身份(或身份).一个帐户有一个与之相关的SIP统一资源标识符(URI).在SIP术语中,该URI用作该人的记录地址( Address of Record,AOR),并且用作传出请求中的From头. 帐户可能有也可能没有与之相关联的客户注册.帐户也与路由集和一些认证凭证相关联,这些凭证在使用该帐户发送SIP请求消息时使用.帐户还具有状态,当它们订阅该帐户时,该状态将被报告给远端(远程对等体),或者如果为该帐户启用了发布,则该状态发布到呈现(Pr

Auto.js 初试-Android开发JS利器

GitHub地址:https://github.com/hyb1996/Auto.js 文档地址:https://hyb1996.github.io/AutoJs-Docs/#/?id=%E7%BB%BC%E8%BF%B0 Android软件下载:https://www.coolapk.com/apk/129872 今天看今日头条无意间看到个蚂蚁森林自动收能量的脚本,于是打开看看安全性. 下面是代码: auto(); //auto.waitFor(); requestScreenCapture(

css系列（7）成品网页

本节介绍用css和html组合起来写的页面.(代码可以直接运行) (1)仿旧版腾讯微博注册页面:(文件夹地址:http://files.cnblogs.com/files/MenAngel/text01.zip) <!DOCTYPE html> <html> <title>示例7.1</title> <style> body{ background-color:#73CFF1; background-position: -640p

css系列（5）css的运用（一）

从本节开始介绍css配合html可以达到的一些效果. (1)导航栏: <html> <head> <title>示例5.1</title> </head> <style> #nav_div{ height:60px; background-color:black; } a{ display:inline-block; /*设为inline-block是为了让同类标签在同一行显示*/ color:white; line-

python微信库 --- itchat

python实现微信接口——itchat模块安装 pip install itchat 登录 itchat.auto_login() # 这种方法将会通过微信扫描二维码登录,但是这种登录的方式确实短时间的登录,并不会保留登录的状态,也就是下次登录时还是需要扫描二维码加入 hotReload==True # 那么就会保留登录的状态,至少在后面的几次登录过程中不会再次扫描二维码,该参数生成一个静态文件itchat.pkl用于存储登录状态退出及登录完成后调用的特定的方法这里主要使用的是灰调函数

<前端>简单实现开心网注册

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>开心网</title> <style type="table/css"> </style> </head> <body> <table border="0" cel

MapReduce实现二度好友关系

一.问题定义我在网上找了些,关于二度人脉算法的实现,大部分无非是通过广度搜索算法来查找,犹豫深度已经明确了2以内:这个算法其实很简单,第一步找到你关注的人:第二步找到这些人关注的人,最后找出第二步结果中出现频率最高的一个或多个人(频率这块没完成),即完成. 但如果有千万级别的用户,那在运算时,就肯定会把这些用户的follow 关系放到内存中,计算的时候依次查找:先说明下我没有明确的诊断对比,这样做的效果一定没基于hadoop实现的好:只是自己,想用hadoop实现下,最近也在学:若有不足的地

【Hadoop学习之十】MapReduce案例分析二-好友推荐

环境虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 最应该推荐的好友TopN,如何排名? tom hello hadoop cat world hadoop hello hive cat tom hive mr hive hello hive cat hadoop world hello mr hadoop tom hive world hello tom world hive mr

MapReduce案例：统计共同好友+订单表多表合并+求每个订单中最贵的商品

案例三: 统计共同好友任务需求: 如下的文本, A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J 求出哪些人两两之间有共同好友,及他俩的共同好友都是谁 b -ac -ad -aa -b c -b b -e b -j 解题思路: 写两个mapreduce 第一个MR输出结果如:b -> a

mapreduce 找到共同好友

热门专题