下载的压缩文件放在~/software/    解压安装在~/app/

一:分布式文件系统搭建HDFS

1,下载Hadoop

  HDFS环境搭建    使用版本:hadoop-2.6.0-cdh5.7.0

  下载:wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

  解压:tar http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/

2,安装JDK

  下载:从官网下载,ftp上传到software下

  安装: tar -zxvf jdk-7u51-linux-x64.tar.gz -C ~/app/

  配置环境变量:vim ./bash_profile

                 插入  export JAVA_HOME=/root/app/jdk1.7.0_51

             export PATh=$JAVA_HOME/bin:$PATH

           保存   wq

         生效   source ./bash_profile

3,机器参数设置:将多个Linux通过免密SSH连接

  修改机器名:以便直接通过hosts 机器名与IP映射关系直接登录

    vim /etc/sysconfig/network

    NETWORKING=yes

    HOSTNAME=hadoop001

  设置IP与机器名的映射:

    vim /etc/hosts

    192.168.1.116 hadoop001

    127.0.0.1 localhost

  ssh免密登录(这个可以不设置,但是重启hadoop进程时是需要手工输入密码才行)

    cd ~

    ssh-keygen -t rsa             (不需输入密码,一直回车)

    cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

  测试:ssh hadoop001   直接连接上另一个虚拟机

4,Hadoop文件修改

  cd /root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop

    1)hadoop-env.sh          配置Java环境

      export JAVA_HOME=/root/app/jdk1.7.0_51

    2)core-site.xml

      <property>

               <name>fs.defaultFS</name>
               <value>hdfs://hadoop001:8020<alue>
           </property>

      <property>
               <name>hadoop.tmp.dir</name>
               <value>/home/hadoop/app/tmp<alue>
           </property>

      解释:

        第一个<property>:添加默认的HDFS名称:hostname 为Hadoop000 端口8020

       第二个<property>:更改Hadoop配置文件目录,默认在temp中,每当系统重启会消失,所有要改成自己建立的文件夹
    
    3) hdfs-site.xml     修改文件系统的副本系数,默认为三个,自己只有一台机器,所以改为1
        <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
 
5,格式化HDFS
  注意:只是在配置完Hadoop后进行的操作,格式化后数据会丢失
  命令:bin/hdfs namenode -format
 
6,启动HDFS
   命令:sbin/start-dfs.sh
  验证是否启动成功:
    1)jps
      DataNode
      SecondaryNameNode
      NameNode
    2)浏览器
      http://hadoop000:50070/
  其中启动过程中可能遇到:1)jps命令不存在。 2)同一个局域网内无法访问http://hadoop000:50070/  解决办法在另一篇博文

7,停止HDFS

  命令: sbin/stop-dfs.sh
  

Spark环境搭建(一)-----------HDFS分布式文件系统搭建的更多相关文章

  1. 我理解中的Hadoop HDFS分布式文件系统

    一,什么是分布式文件系统,分布式文件系统能干什么 在学习一个文件系统时,首先我先想到的是,学习它能为我们提供什么样的服务,它的价值在哪里,为什么要去学它.以这样的方式去理解它之后在日后的深入学习中才能 ...

  2. 1、HDFS分布式文件系统

    1.HDFS分布式文件系统 分布式存储 分布式计算 2.hadoop hadoop含有四个模块,分别是 common. hdfs和yarn. common 公共模块. HDFS hadoop dist ...

  3. HDFS分布式文件系统资源管理器开发总结

      HDFS,全称Hadoop分布式文件系统,作为Hadoop生态技术圈底层的关键技术之一,被设计成适合运行在通用硬件上的分布式文件系统.它和现有的分布式文件系统有很多共同点,但同时,它和其他的分布式 ...

  4. Hadoop HDFS分布式文件系统 常用命令汇总

    引言:我们维护hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除HDFS文件系统中的内容(文件/目录),还有HDFS管理 ...

  5. 大数据基础总结---HDFS分布式文件系统

    HDFS分布式文件系统 文件系统的基本概述 文件系统定义:文件系统是一种存储和组织计算机数据的方法,它使得对其访问和查找变得容易. 文件名:在文件系统中,文件名是用于定位存储位置. 元数据(Metad ...

  6. hdfs(分布式文件系统)优缺点

    hdfs(分布式文件系统) 优点 支持超大文件 支持超大文件.超大文件在这里指的是几百M,几百GB,甚至几TB大小的文件.一般来说hadoop的文件系统会存储TB级别或者PB级别的数据.所以在企业的应 ...

  7. 【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

    1. HDFS概述 Hadoop 分布式系统框架中,首要的基础功能就是文件系统,在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统,这个抽象类下面有很多子实现类,究竟使用哪 ...

  8. 通过Thrift访问HDFS分布式文件系统的性能瓶颈分析

    通过Thrift访问HDFS分布式文件系统的性能瓶颈分析 引言 Hadoop提供的HDFS布式文件存储系统,提供了基于thrift的客户端访问支持,但是因为Thrift自身的访问特点,在高并发的访问情 ...

  9. Hadoop基础-HDFS分布式文件系统的存储

    Hadoop基础-HDFS分布式文件系统的存储 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HDFS数据块 1>.磁盘中的数据块 每个磁盘都有默认的数据块大小,这个磁盘 ...

随机推荐

  1. 状压DP天秀

    状压DP,依靠的是把状态用某种压缩方式表示出来进而DP,大多数时候是二进制状压. 直接看例题吧. 一双木棋     九尾狐吃棉花糖     islands and bridges 愤怒的小鸟   芯片 ...

  2. pycharm pip安装包

    第一种方式为命令行模式,在pycharm界面按alt+F12调出命令行窗口,在窗口内输入pip install matplotlib回车即可,如图1所示 方法二:使用菜单项File——settings ...

  3. 时间函数(1):time,ctime,gmtime,localtime

    asctime(将时间和日期以字符串格式表示) #include<time.h> 定义函数 char * asctime(const struct tm * timeptr); 函数说明 ...

  4. DirectX11 With Windows SDK--11 混合状态与光栅化状态

    前言 虽然这一部分的内容主要偏向于混合(Blending),但这里还需提及一下,关于渲染管线可以绑定的状态主要有如下四种: 光栅化状态(光栅化阶段) 采样器状态(像素着色阶段) 混合状态(输出合并阶段 ...

  5. LeetCode 92. ReverseLinkedII

    #include <iostream> using namespace std; struct ListNode { int val; ListNode *next; ListNode(i ...

  6. 《Java》第四周学习总结

    20175301 李锦然 一:本周学习内容 1:学习第五章视频 2:做实验 第五章主要讲的是子类与父类的关系,子类的继承与多态,final类super类等内容 仓库地址https://gitee.co ...

  7. SpringBoot系列: url重定向和转发

    Web UI项目中, 很多 Spring controller 视图函数直接返回 html 页面, 还有一些视图函数是要重定向或转发到其他的 url 上. redirect 和 forward的区别: ...

  8. [Luogu P1144]最短路计数

    emmmm这个题看起来非常复杂,实际上仔细一分析发现到一个点最短路的个数就是所有前驱最短路个数之和.如果在图上表示也就是以1为根的bfs搜索树,一个点的最短路个数等于每一个能够向它扩展的所有点的最短路 ...

  9. API.day01

    第1部分 JDK API 1.1 API(Application Programming Interface,应用接口程序):已经封装好可以直接调用的功能(Java中以类的形式封装) 经常使用的JDK ...

  10. pom文件报错org.apache.maven.archiver.mavenarchiver.getmanifest

    eclipse导入新的maven项目时,pom.xml第一行报错: org.apache.maven.archiver.MavenArchiver.getManifest(org.apache.mav ...