Hadoop HDFS 3.2的部署

之前写过HDFS 2.6的部署，最近项目中尝试使用最新的HDFS 3.2.1做离线存储，部署方式略有不同，所以这里再简单写一下，这里只涉及到存储因此不再配置yarn，只配置HDFS最基本的服务NameNode、DataNode、以及SecondaryNameNode，我这里用到的包是hadoop-3.2.1.tar.gz

部署之前主机名&hosts，防火墙，ssh互信，jdk这些都不用说了，一定要提前配置标准，jdk用1.8即可，我这里6台机器，计划是其中1个NameNode，1个SecondaryNameNode，6个都是DataNode，当然这里是最简单的配置没有做NameNode高可用，这个放到后来再写，由于hdfs每个节点配置都完全一样，所以在一个节点配置好发送到其他节点就可以啦，下面开始配置：

1). 解压hadoop到指定位置

tar -xvzf hadoop-3.2.1.tar.gz -C /opt
ln -s hadoop-3.2.1 hadoop
cd /opt/hadoop

同样这里软链接是惯用设置，然后开始配置

2). 编辑etc/hadoop/core-site.xml，在<configuration></configuration>填入下面的配置：

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://cloud1:9001</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>

fs.defaultFS和之前2.6配置一样，写namenode的主机名和自己定义的端口，由于9000有冲突，因此我这里用9001

io.file.buffer.size这个是写文件操作的缓冲区大小，默认是4096B，这里调大为128k

我这里配置上面两个就够了，另外还有临时文件目录hadoop.tmp.dir选项，需要也可以添加一下，完整的默认配置列表参考链接：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml，对应当前目录下的share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml文件可以详细查看其它的参数

3). 编辑etc/hadoop/hdfs-site.xml，在<configuration></configuration>填入下面的配置：

        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///data/dfs/name</value>
        </property>
        <property>
                <name>dfs.hosts</name>
                <value>/opt/hadoop/etc/hadoop/dfs.hosts</value>
        </property>
        <property>
                <name>dfs.blocksize</name>
                <value>268435456</value>
        </property>
        <property>
                <name>dfs.namenode.handler.count</name>
                <value>100</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///data/dfs/data</value>
        </property>
        <property>
                <name>dfs.namenode.http-address</name>
                <value>0.0.0.0:9870</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.checkpoint.dir</name>
                <value>file:///data/dfs/namesecondary</value>
        </property>

dfs.namenode.name.dir  配置namenode数据目录，这个目录启动时会自动创建

dfs.hosts 这个配置允许连接到namenode的主机列表，默认允许所有的主机，其实为了安全可以配置上集群所有节点的地址，对于集群内部所有节点的访问不限制，然后再根据需要添加外部客户端机器等，这里直接在本地磁盘创建一个文件即可，里面直接罗列所有的主机名，我这里是和配置文件放到了一块，方便同步到其他节点

dfs.blocksize  单个block的大小，hdfs上传文件会把文件按照块打散，这里使用的就是默认值，为256M

dfs.namenode.handler.count  namenode处理rpc请求的并发数，默认是100，如果有更多的datanode或者并发比较高，则这里可以调大

dfs.datanode.data.dir  datanode数据的本地存储目录，如果有多块盘可以用逗号分隔多个目录，这个目录启动时会自动创建

dfs.namenode.http-address  配置namenode界面，默认值就是：0.0.0.0:9870

dfs.replication  配置文件存储的副本数，默认为3

dfs.namenode.checkpoint.dir  配置检查节点的数据目录，即secondarynamenode的数据目录，这个目录启动时会自动创建

完成的默认配置参考链接：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml或当前目录下的文件share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

4). 配置etc/hadoop/hadoop-env.sh

必须配置的项是JAVA_HOME，如果安装java时已经配置到/etc/profile则可以不用配置，因为我这里是openjdk所以需要配置一下：export JAVA_HOME=/usr

HADOOP_HOME  建议配置一下，我这里是：export HADOOP_HOME=/opt/hadoop

HADOOP_LOG_DIR 日志目录，默认就是hadoop安装目录下的logs

HADOOP_PID_DIR  hdfs服务的pid目录，默认是在/tmp

另外还有一些配置根据需要进行修改，当然上面这些配置都可以通过linux shell环境变量的方式设置，配置到/etc/profile或者/etc/profile.d/下面的变量文件中

export JAVA_HOME=/usr
export HADOOP_HOME=/opt/hadoop
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export HADOOP_PID_DIR=/var/run

5). 分发节点 & 格式化namenode & 启动服务

配置完上面的这些hdfs就算基本设置好了，然后可以将目录发送到所有的其他节点，然后再每个机器分别启动对应的服务，比如我这里节点1是namenode服务，节点2是secondarynamenode服务，节点1~6都是datanode服务，其中namenode服务和secondarynamenode服务最好分开不同的节点启动，发送完成之后先格式化namenode：

bin/hdfs namenode -format

格式化只执行一次，之后不要再执行，然后在每个节点分别手动以守护方式启动服务即可：

# 启动namenode服务
bin/hdfs --daemon start namenode
# 启动secondarynamenode服务
bin/hdfs --daemon start secondarynamenode
# 启动datanode服务
bin/hdfs --daemon start datanode

这样就启动服务了，执行jps可以看到对应节点的对应的进程名，然后可以浏览器访问http://namenode ip:9870可以看到namenode的界面

单独停止服务也非常简单，只需要将上面命令的start改成stop即可

6). 统一启动

上面单独启动的方式可能比较麻烦，也可以使用sbin/start-dfs.sh和sbin/stop-dfs.sh统一启动和停止，启动之前要配置hdfs的用户，否则会报错找不到对应的配置，其实是推荐使用hdfs专用的用户来启动而不是用root来启动，上面为了方便直接用root配置的，正常来说应该有hdfs专门的用户才对，现在修改etc/hadoop/hadoop-env.sh配置用户：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

为了方便这里都配置成root，然后编辑etc/hadoop/workers文件里面默认是localhost，要修改成所有datanode节点的列表，启动时脚本会自动读取这个文件来启动datanode节点，格式和上面咱们配置的dfs.hosts完全一样，配置好了之后，然后就可以执行 sbin/start-dfs.sh 直接启动整个集群了，注意这个脚本默认启动的secondarynamenode节点和namenode是同一个节点，如果想更换节点还需要手动的进行调整.

上面就是hadoop hdfs 3存储部分的基本配置了，经过上面配置就可以开始使用hdfs进行文件的存储读取等操作了，更多的配置以后再继续分享，部署参考文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html