Hadoop 2.6.4单节点集群配置
1.安装配置步骤
# wget http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-linux-x64.rpm
# rpm -ivh jdk-8u91-linux-x64.rpm
# wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz
# tar -zxvf hadoop-2.6.4.tar.gz
# mv hadoop-2.6.4 /usr/local/hadoop
# cd /usr/local/hadoop/
# vim etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/latest
export HADOOP_PREFIX=/usr/local/hadoop # vim etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration> # vim etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hadoop/name/</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hadoop/data/</value>
</property>
</configuration> # bin/hdfs namenode -format
# sbin/start-dfs.sh
# bin/hdfs dfs -mkdir /eric
# bin/hdfs dfs -ls /
drwxr-xr-x - root supergroup 0 2016-07-05 20:37 /eric
# bin/hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it. Configured Capacity: 18788384768 (17.50 GB)
Present Capacity: 14916325376 (13.89 GB)
DFS Remaining: 14754893824 (13.74 GB)
DFS Used: 161431552 (153.95 MB)
DFS Used%: 1.08%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0 -------------------------------------------------
Live datanodes (1): Name: 127.0.0.1:50010 (localhost.localdomain)
Hostname: host101
Decommission Status : Normal
Configured Capacity: 18788384768 (17.50 GB)
DFS Used: 161431552 (153.95 MB)
Non DFS Used: 3872059392 (3.61 GB)
DFS Remaining: 14754893824 (13.74 GB)
DFS Used%: 0.86%
DFS Remaining%: 78.53%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Jul 05 20:52:01 CST 2016 # bin/hdfs dfs -copyFromLocal /root/jdk-8u91-linux-x64.rpm /eric
2. 访问 http://192.168.1.101:50070/ 查看dfshealth
3. 参考学习
Hadoop 2.6.4单节点集群配置
http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/SingleCluster.html
Hadoop 1.0.4中文版文档
http://hadoop.apache.org/docs/r1.0.4/cn/
Hadoop的配置和使用
http://www.cnblogs.com/skyme/archive/2011/10/26/2223984.html
三台主机建立Hadoop小集群
http://developer.51cto.com/art/201205/337268.htm
hadoop学习笔记——环境搭建
http://www.cnblogs.com/huligong1234/p/3533382.html
用通俗易懂的话说下hadoop是什么,能做什么
http://blog.csdn.net/lifuxiangcaohui/article/details/23337905
Hadoop学习笔记之Hadoop基础
http://www.cnblogs.com/maybe2030/p/4593190.html
Hadoop参数:dfs.name.dir 与 dfs.data.dir
http://blog.sina.com.cn/s/blog_48a45b95010119cy.html
Hadoop 2.6.4单节点集群配置的更多相关文章
- mongodb 单节点集群配置 (开发环境)
最近项目会用到mongodb的oplog触发业务流程,开发时的debug很不方便.所以在本地创建一个单台mongodb 集群进行开发debug. 大概:mongodb可以产生oplog的部署方式应该是 ...
- 说说单节点集群里安装hive、3\5节点集群里安装hive的诡异区别
这几天,无意之间,被这件事情给迷惑,不解!先暂时贴于此,以后再解决! 详细问题如下: 在hive的安装目录下(我这里是 /home/hadoop/app/hive-1.2.1),hive的安装目录的l ...
- Cloudera Manager安装之利用parcels方式安装单节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(四)
不多说,直接上干货! 福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号: 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 ...
- ambari单节点集群塔建
配置2台机器,发别为ambari01.ambari03.ambari01上部署Ambari-server和Mirror server,另一台机器上部署agent. 一.配置静态IP 运行命令,让配置生 ...
- Hadoop入门 完全分布式运行模式-集群配置
目录 集群配置 集群部署规划 配置文件说明 配置集群 群起集群 1 配置workers 2 启动集群 总结 3 集群基本测试 上传文件到集群 查看数据真实存储路径 下载 执行wordcount程序 配 ...
- Hadoop的单节点集群详细启动步骤
见,如下博客 hadoop-2.2.0.tar.gz的伪分布集群环境搭建(单节点) 很简单,不多赘述.
- HBase的单节点集群详细启动步骤(分为Zookeeper自带还是外装)
伪分布模式下,如(weekend110)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示HBase使用自身自带的Zookeeper实例.但是,该实例只能为 ...
- Hive的单节点集群详细启动步骤
说在前面的话, 在这里,推荐大家,一定要先去看这篇博客,如下 再谈hive-1.0.0与hive-1.2.1到JDBC编程忽略细节问题 Hadoop Hive概念学习系列之hive三种方式区别和搭建. ...
- consul 多节点/单节点集群搭建
三节点配置 下载安装包 mkdir /data/consul mkdir /data/consul/data curl -SLO https://github.com/consul/1.9.5/con ...
随机推荐
- (34)odoo反代理中客户IP处理
* 前言 一般我们部署时会用nginx做为前端处理,有时负载时还会用到其它web服务反代理 这里只给出nginx处理方法,其它参考处理 * nginx上的客户IP传递 ...
- bzoj 2768: [JLOI2010]冠军调查
#include<cstdio> #include<iostream> #define M 100000 #include<cstring> using names ...
- 使用excel快速制表 拒绝粗心
办公室打印个表格 使用了word打印后 发现 id重复很多 只好网上找了点excel 2003资料 学习小 快速制作表格 新建一个excel文件. 在新建excel中,用鼠标选中需要的表格行数列数,然 ...
- JBoss集群中启用HTTPS协议
Generate server certificate Note: If you already have certificate created then this section can be i ...
- 关于ADDED_TO_STAGE事件
可视类初始化的时候,很多时候要用到stage属性,则要使用Event.ADDED_TO_STAGE事件,这个swf被其它的文件加载,如果直接在初始化函数内使用stage属性 .但是,文档类初始化函数内 ...
- How To Use Hbase Bulk Loading
最近在学习hbase,学到利用如何将数据导入到hbase中,采用的方式是批量导入:bulk load的方法,中间出现了一些问题,下面将执行的步骤记录一下,以供日后查阅: 说明:导入的方式是将csv文件 ...
- git merge 和 rebase 区别
git pull 超级不推荐使用git pull 有坑,谨慎使用,pull底层是merge git pull 是 git fetch + git merge FETCH_HEAD 的缩写.所以,默认 ...
- 从零开始学习Node.js例子零 永远的Hello World
index.js var http = require("http"); http.createServer(function(request, response) { respo ...
- import和from import陷阱一
#from datetime import datetime import datetime format="output-%Y-%m-%d-%H%M%S.txt" str=&qu ...
- 在网页中插入MSN,Skype,QQ的方法
MSN源码: <a href="msnim:chat?contact=come400@hotmail.com" target="blank">可以适 ...