0.修改IP,主机名,hosts文件
        setup        修改网卡IP
        service  network  restart        重启网络服务使IP生效
vim /etc/sysconfig/network修改主机名
vim /etc/hosts/修改hosts文件
192.168.126.128 hadoop001
192.168.126.129 hadoop002
192.168.126.130 hadoop003
192.168.126.131 hadoop004
1.安装jdk环境
alt + p        打开远程连接SecureCRT远程传输工具sftp   put    c:/........tar.gz        把win上软件传到linux
        mkdir -p /java/jdk        建多级文件夹
        tar -zxvf jdk----.tar.gz  -C  /java/jdk        解压jdk到指定路径
        vim /etc/profile        修改全局环境变量
                export JAVA_HOME=/java/jdk/jdk1.7.0_65
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile重新加载配置文件
echo$JAVA_HOME打印变量JAVA_HOME
java -version查看环境变量配置是否成功
安装protobuf
tar -zxvf protobuf-2.5.0.tar.gz 
cd protobuf-2.5.0
./configure --prefix=/opt
配置环境变量加入/opt/bin
protoc -–version
 
2.安装Hadoop
tar -zxvf hadoop-2.4.1.tar.gz -C /java/解压Hadoop
ls lib/native/查看解压目录下有哪些文件
cd etc/hadoop/进入配置文件目录
vim hadoop-env.sh修改配置文件环境变量(export JAVA_HOME=/java/jdk/jdk1.7.0_65)
*-site.xml*
vim core-site.xml修改配置文件(去官网找参数含义)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:9000<value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/java/hadoop-2.4.1/tmp<value>
</property>
</configuration>
 
vim hdfs-site.xml修改hdfs配置文件
<configuration>
<property>
<!-- 副本数量,默认3 -->
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
 
cp mapred-site.xml.template mapred-site.xml复制一份配置文件样本
vim mapred-site.xml修改mapreduce配置文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
 
vim yarn-site.xml配置yarn配置文件,也可以配置主机名,前提是修改hosts文件映射
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 主节点 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop001</value>
</property>
<!-- 从节点 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
 
vim slaves配置从节点(可以是主机名)
192.168.126.128
192.168.126.129
192.168.126.130
 
scp /java/hadoop-2.4.1/ root@192.168.126.129:/java/hadoop-2.4.1/复制到其他机器
 
cd /java/hadoop-2.4.1/bin
./hadoop namenode -format格式化HDFS文件系统(建文件和文件夹)
成功:INFO common.Storage: Storage directory /java/hadoop-2.4.1/tmp/dfs/name has been successfully formatted
 
3.启动
jps看java进程,此时什么都没有
cd sbin/到sbin下找启动命令
./start-dfs.sh启动hdfs
[root@hadoop001 sbin]# jps
2488 NameNode
2746 SecondaryNameNode
2872 Jps
2601 DataNode
 
[root@hadoop002 ~]# jps
2422 DataNode
2485 Jps
 
4.启动hdfs客户端
cd /java/hadoop-2.4.1/bin进入bin
./hdfs dfs -ls /查看hsfs /下内容
./hdfs dfs -put /root/install.log hdfs://hadoop001:9000/向hdfs文件系统存入文件(每块128M)
./hdfs dfs -ls /查看hsfs /下内容
ls /java/hadoop-2.4.1/tmp/dfs/查看文件保存位置(namenode,datanode)
ls /java/hadoop-2.4.1/tmp/dfs/(datanode)只有data文件夹
cd /java/hadoop-2.4.1/tmp/dfs/data/current/BP-343820156-192.168.126.128-1443868868316/current/finalized查看文件分了几块
./hdfs dfs -get  hdfs://hadoop001:9000/install.log从hdfs上把文件下载下来(get后面指定下载的目录)
 
原理:
touch hadoop.tar.gz建一个空文件
cat block1 >> hadoop.tar.gz把block追加到hadoop.tar.gz
cat block2 >> hadoop.tar.gz 把block2追加到hadoop.tar.gz
 
./hdfs dfshdfs其他命令
./hdfs dfs -chown tangwan:hadoop /install.log改变hdfs文件用户所有者和组
./hdfs dfs -ls /install.log查看更改后状态
./hdfs dfs -chmod 600 /install.log更改权限
./hdfs dfs -ls /查看权限
改权限后用户依旧可以下载但是如果建一个文件夹给权限,就只能是指定权限用户上传
./hdfs dfs -df /查看hdfs还剩多少空间kb
./hdfs dfs -df -h /查看hdfs还剩多少空间M,G
./hdfs dfs -mkdir -p /aaa/bbb在hdfs创建文件夹
        ./hadoop fs -du -s /    #查看hdfs占用空间
 
停止hdfs:
/java/hadoop-2.4.1/sbin进入sbin
./stop-dfs.sh停止hdfs
hadoop001:50070浏览器界面(可以下载不可以上传)
 
 
 
 
 
 
 
 
 
 

29.Hadoop之HDFS集群搭建笔记的更多相关文章

  1. Hadoop基础-HDFS集群中大数据开发常用的命令总结

    Hadoop基础-HDFS集群中大数据开发常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令,如果想要了解更多, ...

  2. 大数据-HDFS 集群搭建的配置文件

    1.HDFS简单版集群搭建相关配置文件 1.core-site.xml文件 <property> <name>fs.defaultFS</name> <val ...

  3. hadoop高可用集群搭建小结

    hadoop高可用集群搭建小结1.Zookeeper集群搭建2.格式化Zookeeper集群 (注:在Zookeeper集群建立hadoop-ha,amenode的元数据)3.开启Journalmno ...

  4. hadoop namenode HA集群搭建

    hadoop集群搭建(namenode是单点的)  http://www.cnblogs.com/kisf/p/7456290.html HA集群需要zk, zk搭建:http://www.cnblo ...

  5. 大数据之Hadoop完全分布式集群搭建

    1.准备阶段 1.1.新建三台虚拟机 Hadoop完全分市式集群是典型的主从架构(master-slave),一般需要使用多台服务器来组建.我们准备3台服务器(关闭防火墙.静态IP.主机名称).如果没 ...

  6. 从零自学Hadoop(06):集群搭建

    阅读目录 序 集群搭建 监控 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一 ...

  7. hadoop伪分布式集群搭建与安装(ubuntu系统)

    1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链 ...

  8. hadoop HA分布式集群搭建

    概述 hadoop2中NameNode可以有多个(目前只支持2个).每一个都有相同的职能.一个是active状态的,一个是standby状态的.当集群运行时,只有active状态的NameNode是正 ...

  9. 1、hadoop HA分布式集群搭建

    概述 hadoop2中NameNode可以有多个(目前只支持2个).每一个都有相同的职能.一个是active状态的,一个是standby状态的.当集群运行时,只有active状态的NameNode是正 ...

随机推荐

  1. Python —条件语句

    条件语句 Python条件语句是通过一条或多条语句的执行结果(True或者False)来决定执行的代码块. 可以通过下图来简单了解条件语句的执行过程: Python程序语言指定任何非0和非空(null ...

  2. Hadoop基础知识

    摘要:Hadoop的安装目录了解.etc的核心配置项.hadoop的启动.HDFS文件的block块级副本的存放策略.checkpoint触发设置. 1.hadoop目录了解 bin:可执行文件,命令 ...

  3. echarts 用marlkline画线 同时配置中含有datazoom,怎么设置markline

    由于项目需要设置边界值即用markline 画标线,通过echarts文档可以查看到(如下) 1.通过坐标点(xAxis和yAxis的设置) 通过网上搜索许多markline的配置都是通过下面来设置的 ...

  4. AIX UNIX 系统管理、维护与高可用集群建设——数据库结构设计

    在对数据库类应用进行优化的过程中我们了解到一个原则,即思想上要从结构设计抓起,按照下面的顺序: 1.数据库逻辑结构设计和物理设计. 2.数据库对象部署和SQL代码编写. 3.数据库实例性能调整和优化. ...

  5. jsonp

    一次关于JSONP的小实验与总结   前言: 今天,无意间看到自己某个文件夹下有个JSONP的东西.慢慢回忆起,这个东西是之前想写的一个demo,也不知道是多久以前了,但是不知道怎么的,给忘那边了.那 ...

  6. html5,格式的验证

    <form action="" method="get">    <input type="text" name=&quo ...

  7. 解决VS2015启动时Package manager console崩溃的问题 - Windows PowerShell updated your execution policy successfully, but the setting is overridden by a policy defined at a more specific scope

    安装VS2015,启动以后,Package manager console崩溃,错误信息如下: Windows PowerShell updated your execution policy suc ...

  8. Good Bye 2015 D. New Year and Ancient Prophecy

    D. New Year and Ancient Prophecy time limit per test 2.5 seconds memory limit per test 512 megabytes ...

  9. Qt qml 模拟iphone slide to unlock 的聚光动画文字效果

    模拟iphone slide to unlock 的聚光动画文字效果    /底层放淡文字    /前景放高亮文字+半透明遮罩    /动画移动遮罩 Author: surfsky.cnblogs.c ...

  10. quick-cocos2d-x :加入学习

    语法不熟悉, 接口不熟悉. 部分不理解. 超级初学者. 好好学习, 一直在学习 使用Quick-Cocos2d-x搭建一个横版过关游戏 推荐官方的文档和例子  demo