python版 mapreduce 矩阵相乘
参考张老师的mapreduce 矩阵相乘。
转载请注明:来自chybot的学习笔记http://i.cnblogs.com/EditPosts.aspx?postid=4541939
下面是我用python版本的mapreduce 矩阵相乘。
矩阵相乘的思路详见张老师的博客,对于两个矩阵m1和m2,mapreduce的计算过程如下:
这里面最主要的地方是key的构成,map输出的key是相乘后的矩阵的下标,比如c[i][j] = sum(A[i][:]*B[:][j])。
注意:该实现知识矩阵相乘的一个思路的实现,并不适合真实场景,这里面map task只能为2(对应两个输入矩阵的文件),reduce task只能为1。
主要原因是由于这里面每个map程序都使用了全局变量,而每个reduce程序则默认矩阵相乘结果所需的值均在一个分片。
输入文件:
matrixA.txt
A#-1,0,2
A#1,3,1
matrixB.txt
B#3,1
B#2,1
B#1,0
maper程序:
#!/usr/bin/python
# -*-coding:utf-8 -*- import sys rowNum = 2
colNum = 2
rowIndexA = 1
rowIndexB = 1 def read_inputdata(splitstr):
for line in sys.stdin:
#分割出矩阵名和矩阵的一行元素
yield line.split(splitstr) if __name__ == '__main__':
for matrix, matrixline in read_inputdata('#'):
if matrix == 'A':
# 分割出矩阵元素(使用,分隔),并用key,value输出
for i in range(rowNum):
key = str(rowIndexA) + ',' + str(i+1)
value = matrix + ':'
j = 1
for element in matrixline.split(','):
print '%s\t%s%s,%s' % (key, value, j, element)
j += 1
rowIndexA += 1
elif matrix == 'B':
for i in range(colNum):
value = matrix + ':'
j = 1
for element in matrixline.split(','):
print '%s,%s\t%s%s,%s' % (i+1, j, value, rowIndexB, element)
j = j+1
rowIndexB += 1
else: continue
reduce程序:
#!/usr/bin/python
# -*- coding:utf-8 -*- import sys
from itertools import groupby
from operator import itemgetter def read_input(splitstr):
for line in sys.stdin:
line = line.strip()
if len(line) == 0: continue
yield line.split(splitstr, 1) def run():
data = read_input('\t')
for current_element, group in groupby(data, itemgetter(0)):
try:
matrixA = {}
matrixB = {}
result = 0
#获取A的一行和b的一列
for current_element, elements in group:
matrix, index_value = elements.split(':')
index, value = index_value.split(',')
if matrix == 'A':
matrixA[index] = int(value)
else:
matrixB[index] = int(value)
#计算相乘结果,注意一定要用下标,如果依赖mapreduce的sort可能会出错
for key in matrixA:
result += matrixA[key]*matrixB[key]
print '%s\t%s' % (current_element, result)
except Exception:
pass if __name__ == '__main__':
run()
本地测试是否可行:
bogon:program xuguoqiang$ cat matrixA.txt matrixB.txt |python matrix_mapper.py |sort |python matrix_reducer.py
1,1 -1
1,2 -1
2,1 10
2,2 4
使用hadoop streaming 运行mapred程序,结果如下:
bogon:hadoop-1.2.1 xuguoqiang$ bin/hadoop jar contrib/streaming/hadoop-streaming-1.2.1.jar -D mapred.map.tasks=2 -D mapred.reduce.tasks=1 \
> -mapper /Users/xuguoqiang/hadoop-1.2.1/program/matrix_mapper.py \
> -reducer /Users/xuguoqiang/hadoop-1.2.1/program/matrix_reducer.py \
> -input /matrix/* \
> -output output5
packageJobJar: [/tmp/hadoop-xuguoqiang/hadoop-unjar2547149142116420858/] [] /var/folders/7_/jmj1yhgx7b1_2cg9w74h0q5r0000gn/T/streamjob1502134034482177499.jar tmpDir=null
15/05/31 16:37:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/05/31 16:37:06 WARN snappy.LoadSnappy: Snappy native library not loaded
15/05/31 16:37:06 INFO mapred.FileInputFormat: Total input paths to process : 2
15/05/31 16:37:06 INFO streaming.StreamJob: getLocalDirs(): [/tmp/hadoop-xuguoqiang/mapred/local]
15/05/31 16:37:06 INFO streaming.StreamJob: Running job: job_201505311232_0019
15/05/31 16:37:06 INFO streaming.StreamJob: To kill this job, run:
15/05/31 16:37:06 INFO streaming.StreamJob: /Users/xuguoqiang/hadoop-1.2.1/libexec/../bin/hadoop job -Dmapred.job.tracker=hdfs://localhost:9001 -kill job_201505311232_0019
15/05/31 16:37:06 INFO streaming.StreamJob: Tracking URL: http://localhost:50030/jobdetails.jsp?jobid=job_201505311232_0019
15/05/31 16:37:07 INFO streaming.StreamJob: map 0% reduce 0%
15/05/31 16:37:11 INFO streaming.StreamJob: map 100% reduce 0%
15/05/31 16:37:20 INFO streaming.StreamJob: map 100% reduce 100%
15/05/31 16:37:22 INFO streaming.StreamJob: Job complete: job_201505311232_0019
15/05/31 16:37:22 INFO streaming.StreamJob: Output: output5
bogon:hadoop-1.2.1 xuguoqiang$ bin/hadoop fs -cat output5/*
1,1 -1
1,2 -1
2,1 10
2,2 4
可以看出,结果和在本地运行结果是相同的。
二、稀疏矩阵乘法
稀疏矩阵和矩阵乘法思想类似,只不过把之前一行的数据变成了多行来体现。
输入:
矩阵A
A#1,1,1
A#1,4,3
A#2,1,2
A#2,2,5
A#2,4,4
A#3,4,1
A#4,1,4
A#4,2,7
A#4,3,1
A#4,4,2
矩阵B
B#1,1,5
B#2,2,2
B#4,1,3
B#4,2,1
mapper程序:
#!/usr/bin/python
# -*-coding:utf-8 -*- import sys rowNum = 2
colNum = 4 def read_inputdata(splitstr):
for line in sys.stdin:
yield line.strip().split(splitstr) if __name__ == '__main__':
for matrix, matrixline in read_inputdata('#'):
if matrix == 'A':
for i in range(rowNum):
index1, index2, element = matrixline.split(',')
print '%s,%s\t%s:%s,%s' % (index1, (i+1), matrix, index2, element)
elif matrix == 'B':
for i in range(colNum):
index1, index2, element = matrixline.split(',')
print '%s,%s\t%s:%s,%s' % (i+1, index2, matrix,index1, element)
else: continue
reduce程序:
#!/usr/bin/python
# -*- coding:utf-8 -*- import sys
from itertools import groupby
from operator import itemgetter def read_input(splitstr):
for line in sys.stdin:
line = line.strip()
if len(line) == 0: continue
yield line.split(splitstr, 1) def run():
data = read_input('\t')
for current_element, group in groupby(data, itemgetter(0)):
try:
matrixA = {}
matrixB = {}
result = 0
for current_element, elements in group:
matrix, index_value = elements.split(':')
index, value = index_value.split(',')
if matrix == 'A':
matrixA[index] = int(value)
else:
matrixB[index] = int(value)
for key in matrixA:
if key in matrixB:
result += matrixA[key]*matrixB[key]
print '%s\t%s' % (current_element, result)
except Exception:
pass if __name__ == '__main__':
run()
本地程序测试结果:
bogon:program xuguoqiang$ cat sparsematrixB.txt sparsematrixA.txt | python sparsematrix_mapper.py |sort |python sparsematrix_reduce.py
1,1 14
1,2 3
2,1 22
2,2 14
3,1 3
3,2 1
4,1 26
4,2 16
hadoop测试结果:
bogon:hadoop-1.2.1 xuguoqiang$ bin/hadoop jar contrib/streaming/hadoop-streaming-1.2.1.jar -D mapred.map.tasks=2 -D mapred.reduce.tasks=1 -mapper /Users/xuguoqiang/hadoop-1.2.1/program/sparsematrix_mapper.py -reducer /Users/xuguoqiang/hadoop-1.2.1/program/sparsematrix_reduce.py -input /sparsematrix/* -output output
packageJobJar: [/tmp/hadoop-xuguoqiang/hadoop-unjar2334049571009138288/] [] /var/folders/7_/jmj1yhgx7b1_2cg9w74h0q5r0000gn/T/streamjob7964024689233782754.jar tmpDir=null
15/05/31 16:31:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/05/31 16:31:11 WARN snappy.LoadSnappy: Snappy native library not loaded
15/05/31 16:31:11 INFO mapred.FileInputFormat: Total input paths to process : 2
15/05/31 16:31:11 INFO streaming.StreamJob: getLocalDirs(): [/tmp/hadoop-xuguoqiang/mapred/local]
15/05/31 16:31:11 INFO streaming.StreamJob: Running job: job_201505311232_0018
15/05/31 16:31:11 INFO streaming.StreamJob: To kill this job, run:
15/05/31 16:31:11 INFO streaming.StreamJob: /Users/xuguoqiang/hadoop-1.2.1/libexec/../bin/hadoop job -Dmapred.job.tracker=hdfs://localhost:9001 -kill job_201505311232_0018
15/05/31 16:31:11 INFO streaming.StreamJob: Tracking URL: http://localhost:50030/jobdetails.jsp?jobid=job_201505311232_0018
15/05/31 16:31:12 INFO streaming.StreamJob: map 0% reduce 0%
15/05/31 16:31:16 INFO streaming.StreamJob: map 67% reduce 0%
15/05/31 16:31:19 INFO streaming.StreamJob: map 100% reduce 0%
15/05/31 16:31:25 INFO streaming.StreamJob: map 100% reduce 33%
15/05/31 16:31:26 INFO streaming.StreamJob: map 100% reduce 100%
15/05/31 16:31:27 INFO streaming.StreamJob: Job complete: job_201505311232_0018
15/05/31 16:31:27 INFO streaming.StreamJob: Output: output
刚开始学习hadoop,加油!坚持!希望同道的人能给出建议。
参考:
粉丝日志:http://blog.fens.me/hadoop-mapreduce-matrix/
python版 mapreduce 矩阵相乘的更多相关文章
- MapReduce 矩阵相乘
对于矩阵A[mn]*B[nl]=C[ml].这里可以并行起来的就是每个Cij,对于Cij而言,他是由A的第i行和B的第j列相乘得到.由于大的矩阵中经常是稀疏矩阵,所以一般用行列值表示 例如对于A: 1 ...
- python版mapreduce题目实现寻找共同好友
看到一篇不知道是好好玩还是好玩玩童鞋的博客,发现一道好玩的mapreduce题目,地址http://www.cnblogs.com/songhaowan/p/7239578.html 如图 由于自己太 ...
- Python+MapReduce实现矩阵相乘
算法原理 map阶段 在map阶段,需要做的是进行数据准备.把来自矩阵A的元素aij,标识成p条<key, value>的形式,key="i,k",(其中k=1,2,. ...
- 稀疏矩阵相乘-Python版
稀疏矩阵相乘-Python版 Given two sparse matrices A and B, return the r ...
- MapReduce实现矩阵相乘
矩阵相乘能够查看百度百科的解释http://baike.baidu.com/view/2455255.htm?fr=aladdin 有a和b两个矩阵 a: 1 2 ...
- MapReduce的矩阵相乘
一.单个mapreduce的实现 转自:http://blog.sina.com.cn/s/blog_62186b460101ai1x.html 王斌_ICTIR老师的<大数据:互联网大规模数据 ...
- 利用Hadoop实现超大矩阵相乘之我见(二)
前文 在<利用Hadoop实现超大矩阵相乘之我见(一)>中我们所介绍的方法有着“计算过程中文件占用存储空间大”这个缺陷,本文中我们着重解决这个问题. 矩阵相乘计算思想 传统的矩阵相乘方法为 ...
- 利用Hadoop实现超大矩阵相乘之我见(一)
前记 最近,公司一位挺优秀的总务离职,欢送宴上,她对我说“你是一位挺优秀的程序员”,刚说完,立马道歉说“对不起,我说你是程序员是不是侮辱你了?”我挺诧异,程序员现在是很低端,很被人瞧不起的工作吗?或许 ...
- Python numpy中矩阵的用法总结
关于Python Numpy库基础知识请参考博文:https://www.cnblogs.com/wj-1314/p/9722794.html Python矩阵的基本用法 mat()函数将目标数据的类 ...
随机推荐
- 动态HTMl处理
后续爬虫代码的建议 尽量减少请求次数 1. 能抓列表页就不抓详情页 2. 保存获取的html页面,供差错和重复请求使用 关注网站的所有类型的页面 1. wap页面,触屏版页面 2. H5页面 3. A ...
- Java 递归获取一个路径下的所有文件,文件夹名称
package com.readfile; import java.io.File; public class GetAllFiles { public static void main(String ...
- currval &nextval的差异理解
--currval/nextval的区别 select * from 订单 delete --nextval INSERT INTO 订单(订单编号,单价) --nextval每执行一次,会在下列插入 ...
- 怎么将APE转MP3,APE转MP3的方法
怎样实现APE转MP3的问题呢?很多时候我们从网上所下载的音乐格式,可能并不是我们所需要的音乐格式.如APE音乐格式,那么当我们下载了自己并不需要的APE音乐格式我们应该如何将其转换为自己需要的MP3 ...
- LeetCode 520 Detect Capital 解题报告
题目要求 Given a word, you need to judge whether the usage of capitals in it is right or not. We define ...
- java框架之SpringBoot(15)-安全及整合SpringSecurity
SpringSecurity介绍 Spring Security 是针对 Spring 项目的安全框架,也是 Spring Boot 底层安全模块默认的技术选型.它可以实现强大的 Web 安全控制.对 ...
- python基础(7)-函数&命名空间&作用域&闭包
函数 动态参数 *args def sum(*args): ''' 任何参数都会被args以元组的方式接收 ''' print(type(args)) # result:<class 'tupl ...
- Navicat 用ssh通道连接时总是报错 (报错信息:SSH:expected key exchange group packet form serve
转:https://blog.csdn.net/qq_27463323/article/details/76830731 之前下了一个Navicat 11.0 版本 用ssh通道连接时总是报错 (报错 ...
- SparkML之推荐引擎(一)---电影推荐
本文将使用 SparkML 来构建推荐引擎. 推荐引擎算法大致分为 基于内容的过滤.协同过滤.矩阵分解,本文将使用基于属于矩阵分解的 最小二乘法 算法来构建推荐引擎. 对于推荐引擎模块这里将分为两篇文 ...
- (转)Docker容器的重启策略及docker run的--restart选项详解
1. Docker容器的重启策略 Docker容器的重启策略是面向生产环境的一个启动策略,在开发过程中可以忽略该策略. Docker容器的重启都是由Docker守护进程完成的,因此与守护进程息息相关. ...