配置hadoop集群一
花了1天时间最终把环境搭建好了。整理了一下,希望对想学习hadoop的有所帮助。
资料下载:http://pan.baidu.com/s/1kTupgkn包括了linux虚拟机。jdk, hadoop1.0
环境搭建准备工作:hadoop_master 192.168.50.158hadoop_slave 192.168.50.136
网络配置:1:设置IP2:重新启动网卡 service network restart. 验证命令 ifconfig3:设置主机名 hostname hadoop 运行命令 vi /ect/sysconfig/network4:把hostname和IP绑定运行命令 vi /etc/hosts
192.168.50.158 master192.168.50.136 slave
验证:ping hadoop5:关闭防火墙 service iptables stop关闭防火墙自己主动执行: chkconfig iptables off验证: chkconfig --list |grep iptables
免password登陆ssh1:ssh-keygen -t rsa产生的密钥位于~/.ssh目录中2:cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 本机就能够免password登录了3:配置多机器面password登录拷贝id_rsa.pub到须要登录的机器上: scp .ssh/id_rsa.pub chenlb@192.168.1.181:/home/chenlb/id_rsa.pub把文件的内容追加到authorized_keys上 cat id_rsa.pub >> .ssh/authorized_keyschmod 600 .ssh/authorized_keys配置完毕后ssh ip(对方的电脑)
配置环境变量1:拷贝jdk到/user/local文件夹下2:运行命令 chmod u+x jdk*.bin3:vi /etc/profileexport JAVA_HOME = /user/local/jdkexport PATH=.:$JAVA_HOME/bin:$PATH让配置文件生效: source /etc/profile
安装 hadoop1:tar -zxvf hadoop.tar.gz2:改名字 mv hadoop.1.2 hadoop3:vi /etc/profileexport HADOOP_NAME=/user/local/hadooppath环境变量须要改动一下。加入hadoop的bin
4:改动配置文件,配置文件在hadoop的conf文件夹下hadoop-env.shexport JAVA_HOME=/usr/local/jdk/
也能够配置垃圾回收机制:
比如,配置Namenode时,为了使其可以并行回收垃圾(parallelGC)。 要把以下的代码增加到hadoop-env.sh :
export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC ${HADOOP_NAMENODE_OPTS}"
其他可定制的经常使用參数还包含:
- HADOOP_LOG_DIR - 守护进程日志文件的存放文件夹。假设不存在会被自己主动创建。
- HADOOP_HEAPSIZE - 最大可用的堆大小,单位为MB。
比方。1000MB。 这个參数用于设置hadoop守护进程的堆大小。缺省大小是1000MB。
core-site.xml<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value> 定义HadoopMaster的URI和port
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
hdfs-site.xml<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value> <!--hadoop0指的是你在hosts中配置的名字-->
<description>change your own hostname</description>
</property>
</configuration>
配置完毕后。假设是配置集群就须要在配置文件下的slaves和masters配置相应的datanode和secordaryNamenode。
5:对hadoop进行格式化 hadoop namenode -format格式化假设没有成功的话须要删除 /usr/local/hadoop/tmp目录
配置hadoop集群一的更多相关文章
- Linux中安装配置hadoop集群
一. 简介 参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功.下面就把详细的安装步骤叙述一下.我所使用的环境:两台ubuntu 14.04 64位的台式机,hadoop选择 ...
- hadoop集群环境搭建之安装配置hadoop集群
在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/ (如果没有这个目录 ...
- centos7配置hadoop集群
一:测试环境搭建规划: 主机名称 IP 用户 HDFS YARN hadoop11 192.168.1.101 hadoop NameNode,DataNode NodeManager hadoop1 ...
- 在 Linux 服务器上搭建和配置 Hadoop 集群
实验条件:3台centos服务器,jdk版本1.8.0,Hadoop 版本2.8.0 注:hadoop安装和搭建过程中都是在用户lb的home目录下,master的主机名为host98,slave的主 ...
- 安装和配置hadoop集群步骤
hadoop集群的安装步骤和配置 hadoop是由java语言编写的,首先我们肯定要在电脑中安装jdk,配置好jdk的环境,接下来就是安装hadoop集群的步骤了,在安装之前需要创建hadoop用户组 ...
- linux配置hadoop集群
①安装虚拟机 ②为虚拟机添加共享文件 右击已经安装好的虚拟机 设置—>选项—>共享文件 ③配置映射 sudo nano /etc/network/interfaces 重启网络:sud ...
- 为Linux集群创建新账户,并配置hadoop集群
转自:http://blog.csdn.net/bluesky8640/article/details/6945776 之前装python.jdk.hadoop都是用的root账户,这是一个绝对的失策 ...
- 配置hadoop集群的lzo压缩
MR-Job中使用lzop详见MR案例:Job中使用Lzo压缩 1). 配置前的环境准备 # yum -y install lzo-devel zlib-devel gcc autoconf auto ...
- 在Ubuntu18.04下配置hadoop集群
服务器准备 启动hadoop最小集群的典型配置是3台服务器, 一台作为Master, NameNode, 两台作为Slave, DataNode. 操作系统使用的Ubuntu18.04 Server, ...
随机推荐
- 【译】x86程序员手册28-7.7任务地址空间
7.7 Task Address Space 任务地址空间 The LDT selector and PDBR fields of the TSS give software systems desi ...
- python学习笔记(7)——集合(set)
关键词#1.定义:无序不重复元素集, 基本功能包括关系测试和消除重复元素. 2.关键词:类似dict.只有key无value.常用于集合类数学运算. 3.创建 s=set() #入参可以是list.t ...
- CAD与用户交互在图面上选择一个实体(com接口VB语言)
主要用到函数说明: IMxDrawUtility::GetEntity 与用户交互到在图面上选择一个实体,详细说明如下: 参数 说明 [out] IMxDrawPoint** pPickPoint 返 ...
- java基础学习日志--Stirng内存案例
案例一: public class test1 { public static void mb_swap(String Str1,String Str2) { String temp=Str1; St ...
- 数据分布vs聚类-数据预处理技巧-对数变换
对于原始数据分布倾斜 利用统计或数学变换来减轻数据分布倾斜的影响.使原本密集的区间的值尽可能的分散, 原本分散的区间的值尽量的聚合. Log变换通常用来创建单调的数据变换.它的主要作用在于帮助稳定方差 ...
- this与const
在普通非const成员函数中,this是const指针,而在const成员函数中,this是const对象的const指针. class Foo { Foo& get_self1(void) ...
- 带你全面分析嵌入式linux系统启动过程中uboot的作用
资料链接:http://mp.weixin.qq.com/s/rYVchD-xy7Bdkc1O3fW2Wg
- Python网络编程—socket(二)
http://www.cnblogs.com/phennry/p/5645369.html 接着上篇博客我们继续介绍socket网络编程,今天主要介绍的内容:IO多路复用.多线程.补充知识点. 一.I ...
- slf4j+log4j2的配置
昨天自己测试了一下slf4j+log4j2的配置,可以正常使用,虽然配置十分简单,但好记性不如烂笔头,想想还是记录下来吧. 运行的环境:jdk1.7.tomcat7.Maven的web项目 1.在新建 ...
- Ural 1036 Lucky Tickets
Lucky Tickets Time Limit: 2000ms Memory Limit: 16384KB This problem will be judged on Ural. Original ...