先丢点问题小结到这里,免得忘记,有空再弄个详细教程玩,网上的教程要不就是旧版的,要不就是没说到点子上,随便搞搞也能碰上结果是对的时候,但是知其然而不知其所以然,没意思啊.解决问题的方法有很多种,总得找到比较合适的方法才行的. 1.服务器禁用ipV6配置. 2.Could not locate executable null\bin\winutils.exe in the Hadoop binaries 首先,有个exe,要去下载.其次,注意到提示的路径前面的null,路径没有...系统变量设置了…

hadoop高可用集群搭建小结1.Zookeeper集群搭建2.格式化Zookeeper集群 (注:在Zookeeper集群建立hadoop-ha,amenode的元数据)3.开启Journalmnode集群(注:两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信)4.格式化Namenode,并启动5.格式化Standby Namenode,同步Namenode,并启动6.启动所有Datanode7.启动Yarn8.启动zkfc (注:只在Nameno…

看了下MapReduce的例子.再看了下Mapper和Reducer源码,理清了参数的意义,就o了. public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> public class Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT> Map是打散过程,把输入的数据,拆分成若干的键值对.Reduce是重组的,根据前面的键值对,重组数据. 自己写Map/Reduce的话,理解了如何拆分数据.组装数据,理解了…

在Ubuntu下安装与设置Hadoop的主要过程. 1. 创建Hadoop用户 创建一个用户,用户名为hadoop,在home下创建该用户的主目录,就不详细介绍了. 2. 安装Java环境 下载Linux环境下的JDK:jdk-8u111-linux-x64.tar.gz. 在usr下创建一个java文件夹,将jdk-8u111-linux-x64.tar.gz复制到java文件夹下面,并解压. 为了操作方便,为JDK文件夹建立一个链接: 编辑/etc/profile文件,在文件末位加上下列语句…

开始没搞定插件问题,就弄了个dsf操作类,后面搞定了插件问题,这玩意也就聊胜于无了,还是丢这里算了. 首先是一个配置,ztool.hadoop.properties hadoop.home.dir=G:/hadoop/hadoop-2.4.1 hadoop.user.name=hadoop hadoop.server.ip=192.168.117.128 hadoop.server.hdfs.port=9000 前面两个属性后面代码会有说明的. 属性文件的读取,方法多了,一般用commons-c…

开始折腾mac pro,在网上找了些资料,自己也尝试了一下,特在这里做个小结. mac中JDK的位置 OSX默认的JDK /System/Library/Frameworks/JavaVM.framework/Versions/CurrentJDK/Home 这其实是一个符号链接,它指向: /System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home OS X自带的JRE /System/Library/Frameworks/J…

试验环境: 本地:MyEclipse 集群:Vmware 11+ 6台 Centos 6.5 Hadoop版本: 2.4.0(配置为自动HA) 试验背景: 在正常测试MapReduce(下简称MR)程序4次之后,进行一次新的MR程序,MyEclipse的控制台信息卡住不动了,我通过远程连接NameNode查看系统目录也被卡住,这时候再看MyEclipse控制台,发现已经抛出异常如下: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.…

>bin/hdfs dfs -put readme.txt /finance >bin/hdfs dfs -du -s /finance > /finance >bin/hdfs dfsadmin -setSpaceQuota /finance 设置/finance的大小上限为4000个字节 >bin/hdfs dfs -put readme1.txt /finance 由于已经超出4000个字节,则会报错 // :: WARN hdfs.DFSClient: DataStr…

分区表 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict;create table test.test28_partition(id string, name string)PARTITIONED BY (inc_day string)STORED AS PARQUETlocation 'hdfs://xxx/user/hive/warehouse/test/test27_pa…

问题总结: 程序栈太小,64位机器的栈大小默认比32位的大,将程序从64放到32中执行则报错,需要修改初始堆栈大小 (.so库中提供两个函数接口,一个里面使用的是尺寸较大的图像,另一个处理的图像很小,只有调用前一个函数的时候会溢出) 最后的问题转化为:如何设置JVM的native lib stack size hadoop中节点的JVM配置在mapred.child.java.opts参数中! 之前在hadoop程序中利用jni调用了C语言写的(libxxx.so)本地库,在开始的机器上(64位…