大数据开发学习之构建Hadoop集群-(0)

　　有多种方式来获取hadoop集群，包括从其他人获取或是自行搭建专属集群，抑或是从Cloudera Manager 或apach ambari等管理工具来构建hadoop集群等，但是由自己搭建则可以了解大量的常规构建和维护过程，可以从操作的角度来理解hadoop的工作机制，当然对于大部分用户和操作者应考虑使用hadoop集群管理工具。

　　集群规模：

　　　　根据场景和数据量不同而不同，一般在初期可以搭建合适的集群，后期再逐步持续扩充。另外集群规模不同，运行master守护进程的配置也不同，包括namenode、second namenode(辅助namenode)，资源管理器以及历史服务器。对于小集群，master所在机器也可以同时运行namenode和资源管理器，不过规模的增大时应分离出去，避免运行master进程的集群毁坏时无法持续或恢复执行工作。分开的机器上，当master异常故障时，辅助namenode还可以接替，不会对服务造成太大的干扰。此外namenode和辅助namenode在内存中保存几乎所有的元数据和块数据等，规模增大时一台机器几乎无法同时运行它们。所以配置高可用的hadoop也是很重要的。

　　网络拓扑：

　　　　一般典型的采取二级网络架构，由多个服务器构建组成一个网络群(或称为机架)(由一个交换机或路由器相互通信)，形成多个网络群，并将所有构建的网络群共享同一个更高级别的核心交换机或路由器来实现通信，从而实现二级网络架构。此外网络架构也会对hadoop性能产生影响，所以一般根据网络架构来配置hadoop以使得获取性能和弹性的合理平衡。也即是尽量倾向于在机架内进行数据传输而不是跨机架。

　　集群构建和安装：

　　　　1. 安装java，查看hadoop的wiki上的hadoopjavaversions(https://wiki.apache.org/hadoop/HadoopJavaVersions)，根据自身需要安装指定可运行的组合(操作系统+java+hadoop)，并配置JAVA_HOME和PATH路径即可，如：

　　　　　　export JAVA_HOME=/opt/jdk1.7.0_67
　　　　　　export PATH=$PATH:$JAVA_HOME/bin。

　　　　2. 创建用户账号，一般在unix/linux上安装，且最好以账号区分不同的hadoop进程和服务，如HDFS、MapReduce、YARN作为独立用户运行，且同属于一个hadoop组

　　　　3. 安装hadoop，可从apache hadoop官网获取发布包，一般tar.gz包解压到你想指定的目录并配置hadoop 的HADOOP_HOME和PATH环境变量即可。

　　　　　如：

　　　　　　export HADOOP_HOME=/opt/hadoop-2.7.6
　　　　　　export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

　　　　4. SSH配置，ssh-keygen -t rsa 以及 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

　　　　5. 配置hadoop的系列配置文件，主要是一些hadoop-env.sh，mapred-env.sh，yarn-env.sh环境变量配置，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml文件的守护进程等配置及slaves文件以运行datanode和节点管理器的配置

　　　　6. 格式化HDFS文件系统，hdfs namenode -format

　　　　7. 启动和停止守护进程。start-dfs.sh、start-yarn.sh分别启动HDFS守护进程和YARN守护进程。此外stop-yarn.sh和stop-dfs.sh停止相应的守护进程

　　　　8. 创建用户目录，hadoop fs -mkdir /usr/username，hadoop fs -chown username:username /user/username