HDFS 伪分布式环境搭建

作者:Grey

原文地址:

博客园:HDFS 伪分布式环境搭建

CSDN:HDFS 伪分布式环境搭建

相关软件版本

  • Hadoop 2.6.5

  • CentOS 7

  • Oracle JDK 1.8

安装步骤

在CentOS 下安装 Oracle JDK 1.8

下载地址

将下载好的 JDK 的安装包 jdk-8u202-linux-x64.tar.gz 上传到应用服务器的/tmp目录下

执行以下命令

cd /usr/local  && mkdir jdk && tar -zxvf  /tmp/jdk-8u202-linux-x64.tar.gz -C ./jdk --strip-components 1

执行下面两个命令配置环境变量

echo "export JAVA_HOME=/usr/local/jdk" >> /etc/profile
echo "export PATH=\$PATH:\$JAVA_HOME/bin" >> /etc/profile

然后执行

source /etc/profile

验证 JDK 是否安装好,输入

java -version

显示如下内容

'java version "1.8.0_202"
Java(TM) SE Runtime Environment (build 1.8.0_202-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)

JDK 安装成功。

创建如下目录:

mkdir /opt/bigdata

将 Hadoop 安装包下载至/opt/bigdata目录下

下载方式一

执行:yum install -y wget

然后执行如下命令:cd /opt/bigdata/ && wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz

下载方式二

如果报错或者网络不顺畅,可以直接把下载好的安装包上传到/opt/bigdata/目录下

下载地址

配置静态ip

vi /etc/sysconfig/network-scripts/ifcfg-ens33

内容参考如下内容修改

修改BOOTPROTO="static"

新增:

IPADDR="192.168.150.137"
NETMASK="255.255.255.0"
GATEWAY="192.168.150.2"
DNS1="223.5.5.5"
DNS2="114.114.114.114"

然后执行service network restart

设置主机名vi /etc/sysconfig/network

设置为

NETWORKING=yes
HOSTNAME=node01

注:HOSTNAME 自己定义即可,主要要和后面的 hosts 配置中的一样。

设置本机的ip到主机名的映射关系:vi /etc/hosts

192.168.150.137 node01

注:IP 根据你的实际情况来定

重启网络service network restart

执行如个命令,关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service
firewall-cmd --reload
service iptables stop
chkconfig iptables off

关闭 selinux:执行vi /etc/selinux/config

设置

SELINUX=disabled

做时间同步yum install ntp -y

修改配置文件vi /etc/ntp.conf

加入如下配置:

server ntp1.aliyun.com

启动时间同步服务

service ntpd start

加入开机启动

chkconfig ntpd on

SSH 免密配置,在需要远程到这个服务器的客户端中

执行ssh localhost

依次输入:yes

然后输入:本机的密码

生成本机的密钥和公钥:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

在服务器上配置免密:

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

在客户端再次执行ssh localhost

发现可以免密登录,不需要输入密码了

接下来安装 hadoop 安装包,执行

cd /opt/bigdata && tar xf hadoop-2.6.5.tar.gz

然后执行:

mv hadoop-2.6.5 hadoop

添加环境变量vi /etc/profile

加入如下内容:

export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/opt/bigdata/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后执行source /etc/profile

Hadoop 配置

执行vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

配置 JAVA_HOME

export JAVA_HOME=/usr/local/jdk

执行vi $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration></configuration>节点内配置:

<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>

执行vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration></configuration>节点内配置

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name> <value>/var/bigdata/hadoop/local/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/var/bigdata/hadoop/local/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node01:50090</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name> <value>/var/bigdata/hadoop/local/dfs/secondary</value>
</property>

执行vi $HADOOP_HOME/etc/hadoop/slaves

配置为node01

初始化和启动 HDFS,执行

hdfs namenode -format

创建目录,并初始化一个空的fsimage

如果你使用windows作为客户端,那么需要配置 hosts 条目

进入C:\Windows\System32\drivers\etc

在 host 文件中增加如下条目:

192.168.241.137 node01

注:ip 地址要和你的服务器地址一样

启动 hdfs

执行start-dfs.sh

输入: yes

第一次启动,datanode 和 secondary 角色会初始化创建自己的数据目录

访问:http://node01:50070

并在命令行执行:

hdfs dfs -mkdir /bigdata
hdfs dfs -mkdir -p /user/root

通过 hdfs 上传文件:

hdfs dfs -put jdk-8u291-linux-x64.tar.gz /user/root

通过:http://node01:50070/explorer.html#/user/root

可以看到上传的文件

参考资料

Hadoop MapReduce Next Generation - Setting up a Single Node Cluster.

HDFS 伪分布式环境搭建的更多相关文章

  1. 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)

    所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...

  2. HDFS伪分布式环境搭建

    (一).HDFS shell操作 以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容: HDFS自带有一些shell命令,通过这些命令我们 ...

  3. Hadoop学习笔记1:伪分布式环境搭建

    在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下: 1.CentOS 6.7下安装JDK , 地址: http://blog.csdn.net/yule ...

  4. Hadoop2.5.0伪分布式环境搭建

    本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...

  5. 【Hadoop】伪分布式环境搭建、验证

    Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares ...

  6. 【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建

    CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar ...

  7. CentOS7下Hadoop伪分布式环境搭建

    CentOS7下Hadoop伪分布式环境搭建 前期准备 1.配置hostname(可选,了解) 在CentOS中,有三种定义的主机名:静态的(static),瞬态的(transient),和灵活的(p ...

  8. Hadoop 2.7 伪分布式环境搭建

    1.安装环境 ①.一台Linux CentOS6.7 系统 hostname                ipaddress              subnet mask             ...

  9. hive-2.2.0 伪分布式环境搭建

    一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, apache-hive-2.2.0-bin.tar. ...

随机推荐

  1. svn :不能打开文件“/data/svn/repo/format”: 权限不够

    解决方法:关闭selinux vi /etc/sysconfig/selinux 将其中的SELINUX=enforcing 改为SELINUX=disabled  即可.

  2. cookie、session、tooken

    一.cookie 的诞生 首先需要知道Http协议的无状态连接的,即这一次请求和上一次请求是没有任何关系的,互不认识的,没有关联的. 服务端,既不知道上一次请求和这一次请求的关联,也无法知道哪一个客户 ...

  3. TypeScript 接口继承

    1.TypeScript 接口继承 和类一样,接口也可以通过关键字 extents 相互继承.接口继承,分为:单继承和多继承,即继承多个接口.另外,接口也可以继承类,它会继承类的成员,但不包括具体的实 ...

  4. java 九九乘法表(for循环)

    package study5ran2yl.study; public class ForDemo01 { public static void main(String[] args) { int h; ...

  5. Fiddler开启调试模式

    分别键入以下命令 prefs set fiddler.debug.extensions.showerrors True prefs set fiddler.debug.extensions.verbo ...

  6. Idea 的Test测试报错:java.lang.IllegalStateException: Failed to load ApplicationContext

    因为在Test里面使用了注解@Autowired 引入来至bean.xml文件的内容 ,而在Test没有没有办法自动引入,需要在Test类上加上注解 @ContextConfiguration(loc ...

  7. vue2升级vue3指南(二)—— 语法warning&error篇

    本文总结了vue2升级vue3可能会遇到的语法警告和错误,如果想知道怎样升级,可以查看我的上一篇文章:vue2升级vue3指南(一)-- 环境准备和构建篇 Warning 1.deep /deep/和 ...

  8. zabbix 6.2.0部署

    zabbix 6.2官方部署文档 https://www.zabbix.com/documentation/6.2/en/manual/installation/install下载zabbix6.2安 ...

  9. OpenWrt之feeds.conf.default详解

    目录 OpenWrt之feeds.conf.default详解 文件内容 命令解释 src-svn与src-gitsvn src-git与src-git-full src-cpy与src-link 其 ...

  10. 整除分块套杜教筛为什么是 O(n^2/3) 的

    假设我们要筛一个东西叫做 \(f\) . 记 \[D(n)=\left\{n,\left\lfloor\dfrac n2\right\rfloor,\left\lfloor\dfrac n3\righ ...