启动过程没有发现错误,但是jps查看进程时,发现少了NameNode,而DataNode却存在: 原因: 是端口9000已经被占用,解决办法有两个, 第一种:查找占用端口的进程,kill掉它. hadoop@hadoop:~$ sudo netstat -anp|grep 9000 hadoop@hadoop:~$ sudo kill -9 7056(7056是端口号) 最后重新执行启动脚本,jps就可以看到NameNode了 如果已占用进程需要使用9000端口,可用第二种方法:修改core-s

原因:在原来的电脑上配置伪分布的时候,已经将hostname与IP绑定了,所以拷贝到别的电脑的时候,重新启动的时候就会失败,因为新的电脑的IP不见得就和原来的电脑的IP一样!因为在不同的网络中,在NAT模式下Linux的IP肯定是位于不同的网段的!! 解决方法:vi /etc/hosts  将原来的电脑的IP改成新的电脑的IP即可. 另外:重新格式化hadoop的时候,要把原来的hadoop下的tmp目录下的所有文件都删除掉,然后停止所有的进程,如datanode等.然后 利用hadoop na

https://my.oschina.net/MyHeaven1987/blog/1821509 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation hadoop下载 Hadoop官方下载地址: Hadoop下载地址,目前最新的稳定版本为2.9.1. hadoop配置 java安装路径指定,在hadoop解压路

##  前期准备 1.搭建Hadoop环境需要Java的开发环境,所以需要先在LInux上安装java 2.将    jdk1.7.tar.gz 和hadoop 通过工具上传到Linux服务器上 3.解压jdk  命令:tar -zxvf    jdk-xxxx-xxx.tar.gz  -C   目标文件目录中 4.使用root  用户  或者使用  sudo  编辑修改   vi   /etc/profile 5.在文件的最后面添加上 export JAVA_HOME=xxxxxx[解压的目录

1.配置环境变量JDK配置 1.JDK安装 个人喜欢在 vi ~/.bash profile   下配置 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91export PATH=$JAVA_HOME/bin:$PATH 当然要让环境变量生效source ~/.bash_profile echo $JAVA_HOME 在输入 java -verision,生效就装好了jdk 2.安装ssh 生成秘钥 ssh-keygen -t rsa 在将公钥复制到aut

原文链接:HBase入门基础教程 在本篇文章中,我们将介绍Hbase的单机模式安装与伪分布式的安装方式,以及通过浏览器查看Hbase的用户界面.搭建HBase伪分布式环境的前提是我们已经搭建好了Hadoop完全分布式环境,搭建Hadoop环境请参考:[Hadoop入门基础教程]4.Hadoop之完全分布式环境搭建 开发环境 硬件环境:CentOS 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45.Eclipse Juno Service R

在这篇blog中,我们将介绍Hbase的单机模式安装与伪分布式的安装方式,以及通过浏览器查看Hbase的用户界面.搭建hbase伪分布式环境的前提是我们已经搭建好了hadoop完全分布式环境,搭建hadoop环境请参考:[Hadoop基础教程]4.Hadoop之完全分布式环境搭建 开发环境 硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45.Eclipse Juno Service Release 2.hadoop-1

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl/p/7340681.html 转载请注明出处 最近抽空折腾自己的虚拟机环境时启动伪分布式Hbase集群一直失败,使用的Hbase版本为Apache Hbase1.0,解决过程如下 发现问题 经过仔细观察日志,发现Hbase启动的时候会报错"the hostname of regionserver cannot be set to localhost"此时HMaster进程或者HReigonserve

Hbase安装模式介绍 单机模式 1> Hbase不使用HDFS,仅使用本地文件系统 2> ZooKeeper与Hbase运行在同一个JVM中 分布式模式– 伪分布式模式1> 所有进程运行在同一个节点上,不同进程运行在不同的JVM当中2> 比较适合实验测试– 完全分布式模式1> 进程运行在多个服务器集群中2> 分布式依赖于HDFS系统,因此布署Hbase之前一定要有一个正常工作的HDFS集群 Linux环境准备 关闭防火墙和SELinux # service iptab

本教程讲述在单机环境下搭建Hadoop伪分布式集群环境,帮助初学者方便学习Hadoop相关知识. 首先安装Hadoop之前需要准备安装环境. 安装Centos6.5(64位).(操作系统再次不做过多描述,自行百度) 安装JDK1.7(64位). 安装Hadoop2.2(稳定版本64位) 注意:以上三者版本需要统一,必须同为64位/32位 1.安装JDK1.7 下载JDK1.7,然后拷贝到指定目录 cd /usr/local/ 解压缩: 配置环境变量: vim /etc/profile.d/jav

前言:       毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么.       通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T T)的探索,我目前主要完成的是: 1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功.  http://www.cnblogs.com/Pu

最近在研究数据挖掘相关的东西,在本地 Mac 环境搭建了一套伪分布式的 hadoop 开发环境,采用CDH发行版本,省时省心. 参考来源 How-to: Install CDH on Mac OSX 10.9 Mavericks 官网这篇文章有的地方格式不对,部分链接也失效,运行时还会有一些问题,所以这里重新记录如下. 安装 JDK JDK 1.8 下载地址 安装完成后路径应该是 /Library/Java/JavaVirtualMachines/jdk1.8.x_xx.jdk/Contents

搭建完<hadoop伪分布式平台>后就开始搭建hbase伪分布式平台了.有了hadoop环境,搭建hbase就变得很容易了. 一.Hbase安装 1.从官网下载最新版本Hbase安装包1.2.3,为了省去编译安装环节,我直接下载了hbase-1.2.3-bin.tar.gz,解压即可使用.(如果此链接下载速度过慢可更换官网其他下载链接) [hadoop@master -bin.tar.gz [hadoop@master /usr/local/hadoop/hbase [hadoop@maste

最近要写一个数据量较大的程序,所以想搭建一个hbase平台试试.搭建hbase伪分布式平台,需要先搭建hadoop平台.本文主要介绍伪分布式平台搭建过程. 目录: 一.前言 二.环境搭建 三.命令测试 四.启动YARN 五.web查看 一.前言 1.开始搭建前上官网看了一下,发现最新版本是3.0,但一想到跨版本而且又是最新版本的一般都会出现各种不一样的问题,所以决定使用了2.7.3,hadoop2的最新版本,至于跟后面搭建hbase的版本兼不兼容的情况等遇到再看怎么处理(实验证明最新版本的hba

简介: Hadoop是处理大数据的主要工具,其核心部分是HDFS.MapReduce.为了学习的方便,我在虚拟机上搭建了一个伪分布式环境,来进行开发学习. 一.安装前准备: 1)linux服务器:Vmware 上CentOS6.4 mini安装 2) JDK:jdk-7u65-linux-x64.gz 3) SSH:ssh client 4) YUM源配置妥当:yum list查看 5)Hadoop:hadoop-2.5.2.tar.gz 下载地址:http://mirror.bit.edu.c

准备工作 操作系统 CentOS 7 软件环境 JDK 1.7.0_79 下载地址 SSH,正常来说是系统自带的,若没有请自行搜索安装方法 关闭防火墙 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 设置HostName [root@localhost ~]# hostname localhost 安装环境 安装JDK [root@localhost

原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住.加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1

准备工作: 1)安装了伪分布式hadoop:参照http://blog.csdn.net/zolalad/article/details/11472207 2)修改已安装好的hadoop配置文件: a)修改hdfs-site.xml <property>  <name>dfs.support.append</name>      <!-- 可追加-->  <value>true</value> </property>  

伪分布式模式搭建:   1.环境准备 (1)主机名(root用户) # vi /etc/sysconfig/network HOSTNAME=hadoo1 (不要用下划线) (2)创建普通用户conglitrs(后期课程里面都会用这个用户去操作) # useradd conglitrs # passwd conglitrs (3)把IP地址设置成静态IP(服务器是固定IP)     虚拟机如下:     # setup   --console     或者 # vi /etc/sysconfig

 下面内容主要说明在Windows虚拟机上面,怎么搭建一个Hadoop伪分布式,并如何运行wordcount程序和网页查看HDFS文件系统. 1 相关软件下载和安装 APACH官网提供hadoop版本是32bit的.如果要在64bit Linux环境运行,需要重新编译hadoop,网盘提供的是64bit hadoop. 本文采用Hadoop 2.0.0-cdh4.2.1.下载 http://pan.baidu.com/s/1gdsC1TT 操作系统ubuntu 64-bit,下载 http://

1 获取一个简单的Docker系统镜像,并建立一个容器. 1.1 这里我选择下载CentOS镜像 docker pull centos 1.2 通过docker tag命令将下载的CentOS镜像名称换成centos,然后建立一个简单容器 docker run -it --name=client1 centos /bin/bash 2 Docker容器中下载并安装Java 2.1 JDK下载 去Oracle官网选择要下载的JDK http://www.oracle.com/technetwork