转载地址:http://blog.csdn.net/napoay/article/details/54136398

目录(?)[+]

 

一、机器环境

  • 系统:MAC OS
  • Hadoop:2.7.3
  • Hbase:1.2.4
  • JDK: 1.8.0_112

二、配置SSH免密码登录

第一步:打开terminal,进入根目录,运行命令:

            cd

第二步: 显示隐藏文件,这时还没有.ssh文件夹

        ls –a

第三步:生成密钥

    ssh-keygen -t rsa -P ""

 
第四步,进入.ssh文件夹,运行:

cat id_rsa.pub >> authorized_keys

第五步: ssh登录

ssh localhost

三、安装Hadoop 2.7.3

3.1下载Hadoop

Hadoop下载地址:http://hadoop.apache.org/releases.html
下载hadoop-2.7.3.tar.gz,大约204MB。 
下载后解压缩:

sudo tar –zxvf hadoop-2.7.3.tar.gz

Hadoop有三种安装模式:单机模式、伪分布式模式、分布式模式。

3.2运行Hadoop单机模式

解压安装文件之后,就是单机模式,运行wordcount测试是否安装成功。 
第一步:在hadoop-2.7.3目录下新建input文件夹。

sudo mkdir input

第二步:在input文件夹下新增2个文本文件用于测试。

 echo 'hello world' > file1.txt
echo 'hello hadoop' > file2.txt

第三步:运行wordcount例子

sudo ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-
mapreduce-examples-2.7.3.jar wordcount input/ output

 
No news is good news,没waring、没error就说明正确运行。 
第四步:查看运行结果:

cat output/part-r-00000

统计结果:

hadoop  1
hello 2
world 1

3.3 Hadoop伪分布式模式

3.3.1修改hadoop-env.sh

文件位置: hadoop-2.7.3/etc/hadoop/hadoop-env.sh

注释掉 HADOOP_OPTS
#export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

改为:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

3.3.2修改core-site.xml

文件位置: hadoop-2.7.3/etc/hadoop/core-site.xml 
修改为如下配置:

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop-2.7.3/hdfs/tmp</value>
<description>A base for other temporary directories</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

其中/Users/bee/Documents/bd/hadoop-2.7.3/hdfs/tmp可以自定义. fs.default.name 保存了NameNode的位置,HDFS和MapReduce组件都需要用到它,这就是它出现在core-site.xml 文件中而不是 hdfs-site.xml文件中的原因。

3.3.3修改mapred-site.xml.template

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9010</value>
</property>
</configuration>

变量mapred.job.tracker 保存了JobTracker的位置,因为只有MapReduce组件需要知道这个位置,所以它出现在mapred-site.xml文件中。

3.3.4修改hdfs-site.xml

变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3, 由于我们只有一台主机和一个伪分布式模式的DataNode,将此值修改为1。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

3.4启动hadoop

3.4.1格式化hdfs

./bin/hadoop namenode -format

3.4.2启动Hadoop

运行启动命令:

./sbin/start-all.sh

查看进程:

jps

启动成功之后可以看到NodeManager、NameNode、SecondaryNameNode、ResourceManager这几个进程。

2338 NodeManager
2389 Jps
1900 NameNode
2108 SecondaryNameNode
2238 ResourceManager

访问HDFS的web端口:http://localhost:50070 

四、安装Hbase 1.2.4

4.1 Hbase下载

http://hbase.apache.org/
下载后解压缩。

4.2 单机运行

查看Hbase版本:

 ./bin/hbase version

启动Hbase:

./bin/start-hbase.sh

 
进入Hbase shell:

 ./bin/hbase shell

4.3伪分布式运行

4.3.1 第一步:修改hbase-env.sh

文件位置: hbase-1.2.4/conf/hbase-env.sh
开启HBASE_MANAGES_ZK,改值默认是注释的,作用是:使用自带的ZooKeeper。我们为了方便,使用Hbase自带的ZooKeeper:
    export HBASE_MANAGES_ZK=true

4.3.2 第二步:修改hbase-site.xml

<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

4.3.3启动Hbase

启动之前,先启动hadoop:

    ./sbin/start-all.sh

再启动hbase:

  ./bin/start-hbase.sh
 
 

【转载】Hadoop 2.7.3 和Hbase 1.2.4安装教程的更多相关文章

  1. hadoop学习第七天-HBase的原理、安装、shell命令

    一. hbase的原理知识 1. hbase介绍 hbase是hadoop的一个重要成员,主要用于存储结构化数据,构建在hdfs之上的分布式存储系统,它主要通过横向扩展,通用不断增加廉价服务器增加计算 ...

  2. Hadoop生态圈-使用MapReduce处理HBase数据

    Hadoop生态圈-使用MapReduce处理HBase数据 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.对HBase表中数据进行单词统计(TableInputFormat) ...

  3. Hadoop生态圈-hbase介绍-伪分布式安装

    Hadoop生态圈-hbase介绍-伪分布式安装 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HBase简介 HBase是一个分布式的,持久的,强一致性的存储系统,具有近似最 ...

  4. hadoop版本与支持的hbase版本对照…

    hadoop版本与支持的hbase版本对照表 分类: hbase2013-05-20 17:19 701人阅读 评论(2) 收藏 举报 HbaseHadoop As of Hive 0.9.0 the ...

  5. 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...

  6. 最新hadoop+hbase+spark+zookeeper环境安装(vmmare下)

    说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g ...

  7. Hadoop、Zookeeper、Hbase分布式安装教程

    参考: Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0   Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS ZooKeeper-3.3 ...

  8. Hadoop集群中Hbase的介绍、安装、使用

    导读 HBase – Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群. 一.Hbase ...

  9. hadoop执行hdfs文件到hbase表插入操作(xjl456852原创)

    本例中需要将hdfs上的文本文件,解析后插入到hbase的表中. 本例用到的hadoop版本2.7.2 hbase版本1.2.2 hbase的表如下: create 'ns2:user', 'info ...

随机推荐

  1. antd + node.js + mongoose小总结

    最近开发太忙,都没时间更新博客,想通过这篇博客总结一下相关经验,以备后续能用到: 一.antd 1.onChange of undefined问题:可能是页面中表单取了相同的名称,也可能是在遍历时表单 ...

  2. WCF、WebAPI、WCFREST、WebService、WPF之间的区别

    在.net平台下,有大量的技术让你创建一个HTTP服务,像Web Service,WCF,现在又出了Web API.在.net平台下,你有很多的选择来构建一个HTTP Services.我分享一下我对 ...

  3. chrome插件的开发

    基本目录:icon,manifest,html,js. chrome插件的使用,运行,打包. chrome浏览器打开扩展,勾选开发者模式,点击加载没打包的扩展,选中目录,加载插件. 右上角出现插件图标 ...

  4. 虚拟机中操作系统的克隆方法及ip修改及硬件地址修改

    1.把复制的操作系统关机 2.点击右键->管理->克隆->下一步->虚拟机当前状态->创建完整虚拟机->修改虚拟机名称 位置 3.修改主机名  4.修改主机名与ip ...

  5. [SNV]奇怪的错误搜集

    ld: library not found for -XXXXX clang: error: linker command failed with exit code 1 (use -v to see ...

  6. STM32(HY-SRF05)超声波测距项目

    参考资料: https://www.cnblogs.com/qsyll0916/p/6964638.html http://blog.csdn.net/zhangdaxia2/article/deta ...

  7. [NOIP2018]摆渡车

    Description: 有 n 名同学要乘坐摆渡车从人大附中前往人民大学,第 i位同学在第 t 分钟去 等车.只有一辆摆渡车在工作,但摆渡车容量可以视为无限大.摆渡车从人大附中出发. 把车上的同学送 ...

  8. Django——分页

    必要属性和方法 per_page: 每页显示条目数量 count: 数据总个数 num_pages:总页数 page_range:页面范围,从1开始,例如[1,2,3,4]. page: page对象 ...

  9. bzoj1625:[Usaco2007 Dec]宝石手镯(背包dp板子)

    1625: [Usaco2007 Dec]宝石手镯 Time Limit: 5 Sec  Memory Limit: 64 MBSubmit: 1349  Solved: 954[Submit][St ...

  10. Eclipse 设置Web测试的浏览器

    Window->Preferences->General->Web Browser->选择Use external web browser->选择Default syst ...