Hadoop 上使用C 语言编程【转】

转自：https://www.linuxidc.com/Linux/2012-04/58991.htm

今天尝试用C语言在Hadoop上编写统计单词的程序，具体过程如下：

一、编写map和reduce程序

mapper.c

1. #include <stdio.h>
2. #include <stdlib.h>
3. #include <string.h>
4. #define BUF_SIZE    2048
5. #define DELIM       '\n'
6. int main(int argc, char * argv[])
7. {
8. char buffer[BUF_SIZE];
9. while(fgets(buffer,BUF_SIZE-1,stdin))
10. {
11. int len = strlen(buffer);
12. if(buffer[len-1] == DELIM) // 将换行符去掉
13. buffer[len-1] = 0;
14. char *query = NULL;
15. query = strtok(buffer, " ");
16. while(query)
17. {
18. printf("%s\t1\n",query);
19. query = strtok(NULL," ");
20. }
21. }
22. return 0;
23. }

reducer.c

1. #include <stdio.h>
2. #include <stdlib.h>
3. #include <string.h>
4. #define BUFFER_SIZE     1024
5. #define DELIM       "\t"
6. int main(int argc, char * argv[])
7. {
8. char str_last_key[BUFFER_SIZE];
9. char str_line[BUFFER_SIZE];
10. int count = 0;
11. *str_last_key = '\0';
12. while( fgets(str_line,BUFFER_SIZE-1,stdin) )
13. {
14. char * str_cur_key = NULL;
15. char * str_cur_num = NULL;
16. str_cur_key = strtok(str_line,DELIM);
17. str_cur_num = strtok(NULL,DELIM);
18. if(str_last_key[0] =='\0')
19. {
20. strcpy(str_last_key,str_cur_key);
21. }
22. if(strcmp(str_cur_key, str_last_key))// 前后不相等，输出
23. {
24. printf("%s\t%d\n",str_last_key,count);
25. count = atoi(str_cur_num);
26. }else{// 相等，则加当前的key的value
27. count += atoi(str_cur_num);
28. }
29. strcpy(str_last_key,str_cur_key);
30. }
31. printf("%s\t%d\n",str_last_key,count);
32. return 0;
33. }

二、编译

gcc mapper.c -o mapper

gcc reducer.c -o reducer

三、运行

（一）启动hadoop后将待统计单词的输入文件放到 input文件夹中：bin/hadoop fs -put 待统计文件 input

（二）使用contrib/streaming/下的jar工具调用上面的mapper\reducer:

bin/hadoop jar /home/huangkq/Desktop/hadoop/contrib/streaming/hadoop-streaming-0.20.203.0.jar -mapper /home/huangkq/Desktop/hadoop2/mapper -reducer /home/huangkq/Desktop/hadoop2/reducer -input input -output c_output -jobconf mapred.reduce.tasks=2

说明：hadoop-streaming-0.20.203.0.jar是一个管道工具

（三）查看结果：bin/hadoop fs -cat c_output/*