1.Error: Java heap space 网上有很多说是java虚拟机内存不够的,我也试着修改内存大小,但是没起作用,后来发现是文件在传输过程中失真.文件在上传到HDFS后变成乱码,重新上传文件后解决.同样的问题有很多解法,主要还是要细心. 2.MapReduce的任务一直卡在running job Yarn-site.xml配置错误 3.搭建hive的过程中使用mysql作为元数据库,出现了这个问题,检查发现是配置文件写错了. 4.vmware安装无法打开内核设备 \\.\Global…

在安装配置Hadoop集群的过程中遇到了很多问题,有些是配置导致的,有些是linux系统本身的问题造成的,现在总结如下. 1. hdfs namenode -format出现错误:hdfs namenode format cannot load main class 请检查环境变量HADOOP_HOME的设置是否正确,通常基于文件/etc/profile 2. sbin/start-dfs.sh 启动dfs过程中出现错误: call to localhost/127.0.0.1:9000 fai…

一.为什么设置ssh免密码登录 在集群中,Hadoop控制脚本依赖SSH来执行针对整个集群的操作.例如,某个脚本能够终止并重启集群中的所有守护进程.所以,需要安装SSH,但是,SSH远程登陆的时候,需要密码验证,集群中数千台计算机,数千台计算机都需要手工输入密码,这是不太现实的,所以,就需要配置SSH无密码登录. 二.环境 Hadoop集群,虚拟机中安装了4个节点,为centos操作系统 node-001 : 192.168.38.131 node-002 : 192.168.38.132 no…

http://blog.csdn.net/licongcong_0224/article/details/12972889 历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为菜鸟真心被各种折磨,不过当wordcount给出结果的那一刻,兴奋的不得了~~(文当中若有错误之处或疑问欢迎指正,互相学习) PS:转载请注明来源:http://blog.csdn.net/licongcong_0224/article/details/12972889 另外:欢迎配置过程中遇到问题…

环境:VMwareWorkstation8.0 和 Ubuntu14.04 1. 使用三台虚拟机搭建Hadoop集群 2. 一定要在每台机器上配置ssh免密码登录 3. 由于需要给/etc/hosts文件配置3台虚拟机的IP,所以尽量给三台虚拟机设置静态IP.不然即使之前整个集群搭建成功了,但是当某一台的IP变化后,这个集群又不可以使用了. 例如报如下错误: 当重新将/etc/hosts中各个节点的ip以及mapred-site.xml中master节点的ip改正确后,在重新启动hadoop就好…

1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机.阿里云主机等) /etc/hosts里面要配置的是内网IP地址和主机名的映射关系 4.关闭防火墙5.ssh免登陆 6.安装JDK,配置环境变量等 具体修改方式可参加我的另外一篇文章“基于centos6.5 hadoop 伪分布式安装”.“centos 6.5 配置ssh免登录” 集群规划: 主机名 IP 安装的软件 运行的进程 hadoop1…

1. 创建Nginx Pod过程中报如下错误: #kubectlcreate -f nginx-pod.yaml Error from server: error when creating "nginx-pod.yaml": Pod "nginx" is forbidden: no API token found for service account default/default, retry after the token is automatically…

注意本章内容是在上一篇文章“基于centos6.5 hadoop 集群搭建”基础上创建的 1.上传hbase安装包 hbase-0.96.2-hadoop2 我的目录存放在/usr/hadoop/hbase-0.96.2-hadoop2 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/us…

Hadoop集群搭建 把环境全部准备好,包括编程环境. JDK安装 版本要求: 强烈建议使用64位的JDK版本,这样的优势在于JVM的能够访问到的最大内存就不受限制,基于后期可能会学习到Spark技术,所以建议在搭建系统环境的时候把JDK的版本安装为64位. 如果已经安装,在你不确定安装的版本情况下,可以使用如下方式查看:快捷键WIN+R,调出DOS窗口,然后输入java –version就可以了,如图所示: IDEAK编程工具安装 破解工具:IDEAKeyTool.jar 使用的方法:打开DO…

Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装,通过scp使安装文件和环境配置(/etc/profile)都拷贝过去,并使三台机 器都通过(source /etc/profile)命令使之生效 下载JDK(本次安装使用的版本是jdk1.8.0_73) 解压JDK : tar -zxvf /usr/tools/jdk-7u72-linux-x64…