【Hadoop】集群配置要点
1.SSH免密码登录
1.1生成公钥,一直enter,直到完成
dream361@master:~$ ssh-keygen -t rsa
1.2传送公钥
dream361@master:~$ scp /home/dream361/.ssh/id_rsa.pub /home/dream361/.ssh/authorized_keys
1.3传送到其他节点并生成~/.ssh/authorized_keys文件(因为authorized_keys的拼写失败了好多次,少写了'z')
如此即可免密码
1.4同时主节点本身也是要免密码登录自己的,将公钥cat到自己的.ssh目录下生成authorized_keys文件
1.5 .ssh/authorized_keys 的权限为600 $ chmod 600 .ssh/authorized_keys
1.6 本机免密码登录 $ cat .ssh/id_rsa.pub >>.ssh/authorized_keys
2. /etc/hosts 主机名配置 (所有节点共用这个文件的内容 第三列代表用户名)
dream361@master:/$ cat /etc/hosts 127.0.0.1 localhost 192.168.5.4 master dream361 192.168.5.5 slave1 dream361 192.168.5.6 slave2 dream361
配置完了 使用scp 传送到 从节点的/etc/hosts文件下
root@master:/home/dream361# scp /etc/hosts root@slave4:/etc/hosts
3.环境变量配置 JAVA_HOME、HADOOP_HOME、PATH
变量的设置位置可以是/etc/profile 或 ~/.bash_profile
我的是在/etc/profile
dream361@master:/$ cat /etc/profile # /etc/profile: system-wide .profile )) # and Bourne compatible shells (bash(), ksh(), ash(), ...). export JAVA_HOME=/usr/local/jdk export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#其他内容省略
4.主要的集群配置文件
/usr/local/hadoop/etc/hadoop/core-site.xml 、hdfs-site.xml等
4.1 core-site.xml
dream361@master:/$ cat /usr/local/hadoop/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <!-- namenode path--> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <!-- Hadoop Runtime TMP_DIR --> <property> <name>hadoop.tmp.dir</name> <value>/home/dream361/hadoopTmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> </property> </configuration>
4.2 hdfs-site.xml
dream361@master:/$ cat /usr/local/hadoop/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:50090</value> </property> <!-- HDFS replication --> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/hdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/hdfs/data</value> </property> </configuration>
4.3设置 hadoop-env.sh中 JAVA_HOME变量
5.在一个主节点完成配置后,将jdk、hadoop传送到其他节点
我这里是直接传送目录、省去了压缩、解压过程。
传送jdk
root@master:/home/dream361# scp -r /usr/local/jdk root@slave3:/usr/local/jdk/
传送hadoop
root@master:/home/dream361# scp -r /usr/local/hadoop root@slave3:/usr/local/hadoop
【Hadoop】集群配置要点的更多相关文章
- Hadoop集群配置(最全面总结)
Hadoop集群配置(最全面总结) 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker.这些机器是masters.余下的机器即作为DataNode也作为Ta ...
- 大数据测试之hadoop集群配置和测试
大数据测试之hadoop集群配置和测试 一.准备(所有节点都需要做):系统:Ubuntu12.04java版本:JDK1.7SSH(ubuntu自带)三台在同一ip段的机器,设置为静态IP机器分配 ...
- Hadoop集群配置(最全面总结 )(转)
Hadoop集群配置(最全面总结) huangguisu 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker.这些机器是masters.余下的机器即作为Da ...
- Hadoop 集群配置记录小结
Hadoop集群配置往往按照网上教程就可以"配置成功",但是你自己在操作的时候会有很多奇奇怪怪的问题出现, 我在这里整理了一下常见的问题与处理方法: 1.配置/etc/hosts ...
- hadoop集群配置和在windows系统上运用java操作hdfs
安装 配置 概念 hadoop常用shell命令 使用java操作hadoop 本文介绍hadoop集群配置和在windows系统上运用java操作hdfs 安装 http://mirror.bit. ...
- hadoop集群配置方法---mapreduce应用:xml解析+wordcount详解---yarn配置项解析
注:以下链接均为近期hadoop集群搭建及mapreduce应用开发查找到的资料.使用hadoop2.6.0,其中hadoop集群配置过程下面的文章都有部分参考. hadoop集群配置方法: ---- ...
- Hadoop集群配置过程中需要注意的问题
环境:VMwareWorkstation8.0 和 Ubuntu14.04 1. 使用三台虚拟机搭建Hadoop集群 2. 一定要在每台机器上配置ssh免密码登录 3. 由于需要给/etc/hosts ...
- HADOOP集群配置
http://wenku.baidu.com/view/92cbe435eefdc8d376ee32eb.html http://www.infoq.com/cn/articles/hadoop-co ...
- Hadoop集群配置免密SSH登录方法
Hadoop集群包含1个主节点和3个从节点,需要实现各节点之间的免密码登录,下面介绍具体的实现方法. 一.Hadoop集群环境 二.免密登录原理 每台主机authorized_keys文件里面包含的主 ...
- Hadoop集群配置搭建
环境:Centos 6.9,Hadoop 2.7.1,JDK 1.8.0_161,Maven 3.3.9 前言: 1.配置一台master服务器,两台或多台slave服务器. 2.master可 ...
随机推荐
- 【学习笔记】C# 封装和继承
封装 封装是实现面向对象程序设计的第一步 封装就是将数据.方法等集合在一个个单元中,我们称之为类 封装的意义在于保护代码/数据,屏蔽复杂性 继承 继承是所有面向对象语言不可缺少的部分 继承是为了实现类 ...
- RxSwift 系列(六) -- Mathematical and Aggregate Operators
前言 本篇文章将要学习RxSwift中数学和集合操作符,在RxSwift中包括了: toArray reduce concat toArray 将一个Observable序列转化为一个数组,并转换为一 ...
- STK卫星工具箱下载
简介 STK的全称是Satellite Tool Kit(卫星工具箱),STK/Pro 9.0最新出品,完整版,是由Analytical Graphics公司开发的一款在航天工业领域中处于绝对领先地位 ...
- UVALive - 5107 - A hard Aoshu Problem
题目链接:https://vjudge.net/problem/UVALive-5107 题目大意:用ABCDE代表不同的数字,给出形如ABBDE___ABCCC = BDBDE的东西: 空格里面可以 ...
- Object-C 里面的animation动画效果,核心动画
#import "CoreAnimationViewController.h" @interface CoreAnimationViewController ()@property ...
- 【HTML】html5新属性-datalist
摘要: 为实现输入域自动填充的效果 方法一: jquery-ui的autocomplete方法, 不是jquery 自带的方法. 方法二: 采用html5新特性,datalist,例子如下:坏处很明显 ...
- Python初识(PyMysql实例)
为什么学习python呢,好吧,其实我也不知道,反正就是想学习了. 资料什么的全都low了,传值博客免费的就够.不要问我为什么,我基本上都是找的免费的视频.然后传值博客的最多,我真的不是打广告. py ...
- JAVA二维数组的复制
JAVA二维数组的复制 笔者今天做一道ccf题目时,遇到要将二维数组拷贝复制时,没有用常规的那种一个一个数的复制,用的是System.arraycopy()来进行复制,下面介绍这个函数的一些注意点: ...
- Mybatis框架分析
摘要 本篇文章只是个人阅读mybatis源码总结的经验或者个人理解mybatis的基本轮廓,作为抛砖引玉的功能,希望对你有帮助,如果需要深入了解细节还需亲自去阅读源码. mybatis基本架构 myb ...
- create pfile from spfile;
sql>create pfile from spfile; 生成的文件在$ORACLE_HOME/dbs/下边 和spfile在同一个目录下 但是名字已经变成了init$oracle_si ...