测试小结:1.如果只需要对数据集进行过滤,筛选则只需要编写Mapper类,不需要Reduce类,此时要执行下面一条语句:job.setNumReduceTesk(0);2.如果需要对处理的数据进行分组(group by).排序(order by).表连接(join).排重(distinct)等操作则需要编写Reducer类,因为这些操作都是基于MapTask的输出键(Key)来完成的;3.如果既有分组又有排序只能使用两个MapReduce作业来串接完成,因为分组和排序会涉及到两次Shuffle过…

本文转载自Silhouette的文章,原文地址:http://www.dreamingfish123.info/?p=1102 Hadoop排序工具用法小结 发表于 2014 年 8 月 25 日 由 fish Hadoop用于对key的排序和分桶的设置选项比较多和复杂,目前在公司内主要以KeyFieldBasePartitioner和KeyFieldBaseComparator被hadoop用户广泛使用. 基本概念: Partition:分桶过程,用户输出的key经过partition分发到不…

近期一直在忙项目上的事情,今天对以前的工作做一个简单的小结.明天就是国庆节啦. 1  脚本可以手动执行,可是crontab缺总是找不到路径? #!/bin/bash. /etc/profile . /home/sms/.bash_profile 请在脚本中加入 本机的环境变量和用户的环境变量的配置 2 config.ini文件总是出现乱码,导致读入的数据莫名其妙? 更改config的编码为ANSI, UTF-8不一定是更好的选择. 3 logback.xml配置不起作用 可能是pom文件引入ja…

先丢点问题小结到这里,免得忘记,有空再弄个详细教程玩,网上的教程要不就是旧版的,要不就是没说到点子上,随便搞搞也能碰上结果是对的时候,但是知其然而不知其所以然,没意思啊.解决问题的方法有很多种,总得找到比较合适的方法才行的. 1.服务器禁用ipV6配置. 2.Could not locate executable null\bin\winutils.exe in the Hadoop binaries 首先,有个exe,要去下载.其次,注意到提示的路径前面的null,路径没有...系统变量设置了…

一.HIVE概览小结 二.HIVE安装 Hive只在一个节点上安装即可 .上传tar包 .解压 tar -zxvf hive-.tar.gz -C /cloud/ .配置mysql metastore(切换到root用户) 配置HIVE_HOME环境变量 rpm -qa | grep mysql rpm -e mysql-libs--.el6_3.i686 --nodeps rpm -ivh MySQL-server--.glibc23.i386.rpm rpm -ivh MySQL-clien…

hadoop高可用集群搭建小结1.Zookeeper集群搭建2.格式化Zookeeper集群 (注:在Zookeeper集群建立hadoop-ha,amenode的元数据)3.开启Journalmnode集群(注:两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信)4.格式化Namenode,并启动5.格式化Standby Namenode,同步Namenode,并启动6.启动所有Datanode7.启动Yarn8.启动zkfc (注:只在Nameno…

1.spark执行./start-all.sh报"WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1." 解决办法:在spark-env.sh中加入"export SPARK_LOCAL_IP=127.0.0.1"这一条 2.Hadoop2.7启动报"Error: JAVA_HOME is not set and could not be found&q…

1.简单模式 这种模式,配置简单,使用简单. core-site.xml添加 <property> <name>hadoop.security.authorization</name> <value>true</value> </property> <property> <name>hadoop.security.authentication</name> <value>simple&l…

看了下MapReduce的例子.再看了下Mapper和Reducer源码,理清了参数的意义,就o了. public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> public class Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT> Map是打散过程,把输入的数据,拆分成若干的键值对.Reduce是重组的,根据前面的键值对,重组数据. 自己写Map/Reduce的话,理解了如何拆分数据.组装数据,理解了…

hadoop部署总结的命令 学习笔记,转自:hadoop部署总结的命令http://www.aboutyun.com/thread-5385-1-1.html(出处: about云开发)…