博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop 上使用C 语言编程【转】
阅读量:5824 次
发布时间:2019-06-18

本文共 1772 字,大约阅读时间需要 5 分钟。

转自:

今天尝试用C语言在上编写统计单词的程序,具体过程如下:

一、编写map和reduce程序

mapper.c

  1. #include <stdio.h>   
  2. #include <stdlib.h>   
  3. #include <string.h>   
  4.   
  5. #define BUF_SIZE    2048   
  6. #define DELIM       '\n'   
  7.   
  8. int main(int argc, char * argv[])  
  9. {  
  10.     char buffer[BUF_SIZE];  
  11.     while(fgets(buffer,BUF_SIZE-1,stdin))  
  12.     {  
  13.         int len = strlen(buffer);  
  14.         if(buffer[len-1] == DELIM) // 将换行符去掉   
  15.             buffer[len-1] = 0;  
  16.   
  17.         char *query = NULL;  
  18.         query = strtok(buffer, " ");  
  19.         while(query)  
  20.         {  
  21.             printf("%s\t1\n",query);  
  22.             query = strtok(NULL," ");  
  23.         }  
  24.     }  
  25.     return 0;  
  26. }  
reducer.c
  1. #include <stdio.h>   
  2. #include <stdlib.h>   
  3. #include <string.h>   
  4.   
  5. #define BUFFER_SIZE     1024   
  6. #define DELIM       "\t"   
  7.   
  8. int main(int argc, char * argv[])  
  9. {  
  10.     char str_last_key[BUFFER_SIZE];  
  11.     char str_line[BUFFER_SIZE];  
  12.     int count = 0;  
  13.   
  14.     *str_last_key = '\0';  
  15.   
  16.     while( fgets(str_line,BUFFER_SIZE-1,stdin) )  
  17.     {  
  18.         char * str_cur_key = NULL;  
  19.         char * str_cur_num = NULL;  
  20.   
  21.         str_cur_key = strtok(str_line,DELIM);  
  22.         str_cur_num = strtok(NULL,DELIM);  
  23.   
  24.         if(str_last_key[0] =='\0')  
  25.         {  
  26.             strcpy(str_last_key,str_cur_key);  
  27.         }  
  28.         if(strcmp(str_cur_key, str_last_key))// 前后不相等,输出   
  29.         {  
  30.             printf("%s\t%d\n",str_last_key,count);  
  31.             count = atoi(str_cur_num);  
  32.         }else{
    // 相等,则加当前的key的value   
  33.             count += atoi(str_cur_num);  
  34.         }  
  35.         strcpy(str_last_key,str_cur_key);  
  36.     }  
  37.     printf("%s\t%d\n",str_last_key,count);  
  38.     return 0;  
  39. }  
二、编译

gcc mapper.c -o mapper

gcc reducer.c -o reducer

三、运行

(一)启动hadoop后将待统计单词的输入文件放到 input文件夹中:bin/hadoop fs -put 待统计文件 input

(二)使用contrib/streaming/下的jar工具调用上面的mapper\reducer:

bin/hadoop jar /home/huangkq/Desktop/hadoop/contrib/streaming/hadoop-streaming-0.20.203.0.jar -mapper /home/huangkq/Desktop/hadoop2/mapper -reducer /home/huangkq/Desktop/hadoop2/reducer -input input -output c_output -jobconf mapred.reduce.tasks=2

说明:hadoop-streaming-0.20.203.0.jar是一个管道工具

(三)查看结果:bin/hadoop fs -cat c_output/*

转载于:https://www.cnblogs.com/sky-heaven/p/9083203.html

你可能感兴趣的文章
CSS3
查看>>
ul下的li浮动,如何是ul有li的高度
查看>>
C++ primer plus
查看>>
python mysqlDB
查看>>
UVALive 3942 Remember the Word Tire+DP
查看>>
Android之HttpClient
查看>>
从微软的DBML文件中我们能学到什么(它告诉了我们什么是微软的重中之重)~目录...
查看>>
被需求搞的一塌糊涂,怎么办?
查看>>
c_数据结构_队的实现
查看>>
jquery 选择器总结
查看>>
1月10日,11日工作情况
查看>>
Qt设置背景图片
查看>>
Grunt使用心得
查看>>
【阿里云文档】常用文档整理
查看>>
iptables 配置需要保存
查看>>
.NET各种小问题
查看>>
ApkTool反编译和重新打包
查看>>
OpenState: Programming Platform-independent Stateful OpenFlow Applications Inside the Switch
查看>>
java中的Volatile关键字
查看>>
前端自定义图标
查看>>