python在mapreduce运行Wordcount程序

首先脚本文件：

　　mapper.py：

　　#!/usr/bin/env python

　　import sys

　　for line in sys.stdin:

　 line = line.strip()

　 words = line.split()

for word in words:

print(word,1)

　　reducer.py：　

　　#!/usr/bin/env python

　　from operator import itemgetter

　　import sys

 

　　current_word = None

　　word = None

　　for line in sys.stdin:

line = line.strip()

# print(line)

words=line.split()

word=words[0]

count=int(words[1])

print(word,count)

try:

count = int(count)

except ValueError: #count如果不是数字的话，直接忽略掉

continue

if current_word == word:

current_count += count

else:

if current_word:

print(current_word, current_count)

current_count = count

current_word = word

　　if word == current_word: #不要忘记最后的输出

　　print(current_word, current_count)

测试map.py和reducer.py两个文件：

　　echo "foo foo quux labs foo bar quux" | ./mapper.py　　#测试mapper.py

　　echo "foo foo quux labs foo bar quux" | ./mapper.py | sort -k1,1 | ./reducer.py　　#测试reducer.py文件

在终端运行上述两个脚本文件：

　　Hadoop命令不支持Streaming，故需要指定Streaming JAR文件流与JAR选项时指定。Streaming程序的选项指定了输入和输出路径以及map和reducer脚本，即

　　hdc@XiaoXin:~$ hadoop jar /home/hdc/software/hadoop-2.9.1/share/hadoop/tools/lib/hadoop-streaming-*.jar  \　　　　#"\"表示一行输入不行换行输入

　　> -input /hdc/input_1/word \　　　　#输入文件在hdfs位置
　　> -output /program_output/WordCount_out \　　　　#输出在hdfs文件位置
　　> -mapper /home/hdc/anaconda3/envs/DL_test/code/WordCount/mapper.py \　　　　#mapper.py在本地（客户端）的位置
　　> -reducer /home/hdc/anaconda3/envs/DL_test/code/WordCount/reducer.py　　　　#reducer.py在本地（客户端）的位置