【转载】Hadoop 2.7.3 和Hbase 1.2.4安装教程
一、机器环境
- 系统:MAC OS
- Hadoop:2.7.3
- Hbase:1.2.4
- JDK: 1.8.0_112
二、配置SSH免密码登录
第一步:打开terminal,进入根目录,运行命令:
cd
第二步: 显示隐藏文件,这时还没有.ssh文件夹
ls –a
第三步:生成密钥
ssh-keygen -t rsa -P ""
第四步,进入.ssh文件夹,运行:
cat id_rsa.pub >> authorized_keys
第五步: ssh登录
ssh localhost
三、安装Hadoop 2.7.3
3.1下载Hadoop
Hadoop下载地址:http://hadoop.apache.org/releases.html
下载hadoop-2.7.3.tar.gz,大约204MB。
下载后解压缩:
sudo tar –zxvf hadoop-2.7.3.tar.gz
Hadoop有三种安装模式:单机模式、伪分布式模式、分布式模式。
3.2运行Hadoop单机模式
解压安装文件之后,就是单机模式,运行wordcount测试是否安装成功。
第一步:在hadoop-2.7.3目录下新建input文件夹。
sudo mkdir input
第二步:在input文件夹下新增2个文本文件用于测试。
echo 'hello world' > file1.txt
echo 'hello hadoop' > file2.txt
第三步:运行wordcount例子
sudo ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-
mapreduce-examples-2.7.3.jar wordcount input/ output
No news is good news,没waring、没error就说明正确运行。
第四步:查看运行结果:
cat output/part-r-00000
统计结果:
hadoop 1
hello 2
world 1
3.3 Hadoop伪分布式模式
3.3.1修改hadoop-env.sh
文件位置: hadoop-2.7.3/etc/hadoop/hadoop-env.sh
注释掉 HADOOP_OPTS
#export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
改为:
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
3.3.2修改core-site.xml
文件位置: hadoop-2.7.3/etc/hadoop/core-site.xml
修改为如下配置:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop-2.7.3/hdfs/tmp</value>
<description>A base for other temporary directories</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
其中/Users/bee/Documents/bd/hadoop-2.7.3/hdfs/tmp可以自定义. fs.default.name 保存了NameNode的位置,HDFS和MapReduce组件都需要用到它,这就是它出现在core-site.xml 文件中而不是 hdfs-site.xml文件中的原因。
3.3.3修改mapred-site.xml.template
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9010</value>
</property>
</configuration>
变量mapred.job.tracker 保存了JobTracker的位置,因为只有MapReduce组件需要知道这个位置,所以它出现在mapred-site.xml文件中。
3.3.4修改hdfs-site.xml
变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3, 由于我们只有一台主机和一个伪分布式模式的DataNode,将此值修改为1。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3.4启动hadoop
3.4.1格式化hdfs
./bin/hadoop namenode -format
3.4.2启动Hadoop
运行启动命令:
./sbin/start-all.sh
查看进程:
jps
启动成功之后可以看到NodeManager、NameNode、SecondaryNameNode、ResourceManager这几个进程。
2338 NodeManager
2389 Jps
1900 NameNode
2108 SecondaryNameNode
2238 ResourceManager
访问HDFS的web端口:http://localhost:50070
四、安装Hbase 1.2.4
4.1 Hbase下载
http://hbase.apache.org/
下载后解压缩。
4.2 单机运行
查看Hbase版本:
./bin/hbase version
启动Hbase:
./bin/start-hbase.sh
进入Hbase shell:
./bin/hbase shell
4.3伪分布式运行
4.3.1 第一步:修改hbase-env.sh
文件位置: hbase-1.2.4/conf/hbase-env.sh
开启HBASE_MANAGES_ZK,改值默认是注释的,作用是:使用自带的ZooKeeper。我们为了方便,使用Hbase自带的ZooKeeper:
export HBASE_MANAGES_ZK=true
4.3.2 第二步:修改hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
4.3.3启动Hbase
启动之前,先启动hadoop:
./sbin/start-all.sh
再启动hbase:
./bin/start-hbase.sh
【转载】Hadoop 2.7.3 和Hbase 1.2.4安装教程的更多相关文章
- hadoop学习第七天-HBase的原理、安装、shell命令
一. hbase的原理知识 1. hbase介绍 hbase是hadoop的一个重要成员,主要用于存储结构化数据,构建在hdfs之上的分布式存储系统,它主要通过横向扩展,通用不断增加廉价服务器增加计算 ...
- Hadoop生态圈-使用MapReduce处理HBase数据
Hadoop生态圈-使用MapReduce处理HBase数据 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.对HBase表中数据进行单词统计(TableInputFormat) ...
- Hadoop生态圈-hbase介绍-伪分布式安装
Hadoop生态圈-hbase介绍-伪分布式安装 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HBase简介 HBase是一个分布式的,持久的,强一致性的存储系统,具有近似最 ...
- hadoop版本与支持的hbase版本对照…
hadoop版本与支持的hbase版本对照表 分类: hbase2013-05-20 17:19 701人阅读 评论(2) 收藏 举报 HbaseHadoop As of Hive 0.9.0 the ...
- 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...
- 最新hadoop+hbase+spark+zookeeper环境安装(vmmare下)
说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g ...
- Hadoop、Zookeeper、Hbase分布式安装教程
参考: Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0 Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS ZooKeeper-3.3 ...
- Hadoop集群中Hbase的介绍、安装、使用
导读 HBase – Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群. 一.Hbase ...
- hadoop执行hdfs文件到hbase表插入操作(xjl456852原创)
本例中需要将hdfs上的文本文件,解析后插入到hbase的表中. 本例用到的hadoop版本2.7.2 hbase版本1.2.2 hbase的表如下: create 'ns2:user', 'info ...
随机推荐
- 如何生成WebAssembly文件?
许多3D游戏都是用C/C++语言写的,如果能将C/C++语言编译成JavaScript代码,它们不就能在浏览器里运行了吗?Emscripten的底层是LLVM编译器,Emscripten可以将c/c+ ...
- 关于如何在ElementUI中实现统计Table筛选结果数量
在开发单位自己的系统时,领导提了这个需求,在看了ElementUI发现并没有实现这个功能. 遂向官方求解,得回复:自己在filter-method 中实现.于是便有了思路. 这里本人使用了一个比较暴力 ...
- [CQOI2005]三角形面积并
[CQOI2005]三角形面积并 题目大意: 求\(n(n\le100)\)个三角形的面积并. 思路: 自适应辛普森法,玄学卡精度可过. 源代码: #include<cmath> #inc ...
- 快速学习MarkDown语法及MarkDown拓展语法
使用Markdown编辑器写博客 前半部分为效果后半部分为markdown格式,推荐开起两个窗口对比阅读 Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数 ...
- [BZOJ3339]Rmq Problem / mex
Description: 有一个长度为n的数组{a1,a2,-,an}.m次询问,每次询问一个区间内最小没有出现过的自然数. Hint: \(n \le 2*10^5\) Solution: 主席树好 ...
- jemter模拟高并发访问(亲测ok)
https://blog.csdn.net/a574258039/article/details/19549407
- Servlet(2)—java项目下web应用程序
在java项目下手动写一个web程序 步骤: ①创建一个java项目并在根目录创建一个WebContent目录文件 ②WebContent下创建WEB-INF目录文件 ③WEB-INF下创建class ...
- 修改Arduino IDE默认字体
文件->首选项 点击直接编辑下面那个文件 修改editor.font这个条目就可以不用那么毁眼了..
- 怎样让两个DIV在同一水平线上面显示
css定义第二个div. float:right或者left. margin-top:0px 确保第二个DIV的宽度.如果宽度宽的话,会自动到下方的.
- import tensorflow 报错: tf.estimator package not installed.
import tensorflow 报错: tf.estimator package not installed. 解决方案1: 安装 pip install tensorflow-estimator ...