Spark入门到精通--(第八节)环境搭建(Hadoop搭建)
上一节把Centos的集群免密码ssh登陆搭建完成,这一节主要讲一下Hadoop的环境搭建。
Hadoop下载安装
下载官网的Hadoop 2.4.1的软件包。http://hadoop.apache.org/,或在百度网盘进行下载。链接: http://pan.baidu.com/s/1gePE9O3 密码: unmt
下载完以后将通过Xftp上传到服务器器上。我是放在/home/software目录下
[root@spark1 ~]# cd /home/software/
[root@spark1 software]# ls
hadoop-2.4.1-x64.tar.gz scala-2.11.8.tgz
[root@spark1 software]#
然后解压放到/usr/lib目录下,并且重命名为hadoop,这里hadoop的配置和之前Scala、Java差不多。
[root@spark1 software]# tar -zxf hadoop-2.4.1-x64.tar.gz //解压
[root@spark1 software]# mv hadoop-2.4.1-x64 /usr/lib/hadoop //重命名 [root@spark1 software]# cd /usr/lib //编辑环境变量
[root@spark1 lib]# vi ~/.bashrc//添加到最后两行 export HADOOP_HOME=/usr/lib/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin //保存退出,是环境变量生效
[root@spark1 lib]# source /etc/profile
Hadoop配置文件修改
然后我们进入hadoop目录,对hadoop的配置文件进行修改。
[root@spark1 etc]# cd hadoop/
[root@spark1 hadoop]# cd etc/
[root@spark1 etc]# cd hadoop/
- 修改core-site.xml
[root@spark1 hadoop]# vi core-site.xml
设置hdfs对外的端口,在<configuration>里添加
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://spark1:9000</value>
</property>
</configuration>
保存退出。
- 修改hdfs-site.xml
[root@spark1 hadoop]# vi hdfs-site.xml
设置集群的节点数3,hdfs的目录。
<configuration> <property>
<name>dfs.name.dir</name>
<value>/usr/lib/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/lib/data/datanode</value>
</property>
<property>
<name>dfs.temp.dir</name>
<value>/usr/lib/data/temp</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property> </configuration>
保存退出,根据上面的配置路径新建data目录。
[root@spark1 lib]# cd /usr/lib
[root@spark1 lib]# mkdir data
- 修改mapred-site.xml.template
[root@spark1 hadoop]# vi mapred-site.xml.template
设置MapReduce运行在yarn上,在<configuration>里添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
保存退出。
- 修改yarn-site.xml
[root@spark1 hadoop]# vi yarn-site.xml
在<configuration>里添加
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>spark1:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
保存退出。
- 修改slaves
[root@spark1 hadoop]# vi slaves
spark1
spark2
spark3
保存退出,全部配置文件完成,是文件生效。
[root@spark1 hadoop]# source ~/.bashrc
为集群三台服务器全部配置Hadoop配置
将spark1上的配置文件拷贝到spark2和spark3上。
[root@spark1 hadoop]# cd /usr/lib
[root@spark1 lib]# scp -r hadoop root@spark2:/usr/lib/
拷贝完成后别忘了在spark2和spark3上创建/usr/lib目录上的data文件夹,/etc/profile文件也要都修改,改完别忘了另外两台服务器生效。
[root@spark2 lib]# source ~/.bashrc
都完成之后我们回到spark1服务器上。
- 格式化namenode
[root@spark1 lib]# hdfs namenode -format
- 启动hdfs集群,在spark1上启动namenode、secondaryNameNode、datanode,在spark2、spark3上启动datanode
[root@spark1 lib]# start-dfs.sh
按提示一路操作下来,完成后输入命令查看spark1是否OK
[root@spark1 lib]# jps
你可以在spark2、spark3下分别输入命令jps查看datanode是否启动。
完成后你可以在本地打开chrome输入:http://[spark1的外网ip]:50070。出现如下界面
启动Yarn集群
在spark1上执行命令
[root@spark1 lib]# start-yarn.sh
[root@spark1 lib]# jps
发现启动了ResourceManager和NodeManager,同时spark2和spark3上也会出现NodeManager。
完成后你可以在本地打开chrome输入:http://[spark1的外网ip]:8088。出现如下界面(如果未出现该界面,说明之前yarn-site.xml文件里的地址没有配外网ip,可直接修改webapp.address[外网ip:8088])
至此hadoop集群搭建完毕!
如有配置问题也可参考:http://blog.csdn.net/greensurfer/article/details/39450369
Spark入门到精通--(第八节)环境搭建(Hadoop搭建)的更多相关文章
- Spark入门到精通--(第一节)Spark的前世今生
最近由于公司慢慢往spark方面开始转型,本人也开始学习,今后陆续会更新一些spark学习的新的体会,希望能够和大家一起分享和进步. Spark是什么? Apache Spark™ is a fast ...
- Spark入门到精通--(第九节)环境搭建(Hive搭建)
上一节搭建完了Hadoop集群,这一节我们来搭建Hive集群,主要是后面的Spark SQL要用到Hive的环境. Hive下载安装 下载Hive 0.13的软件包,可以在百度网盘进行下载.链接: h ...
- Spark入门到精通--(第七节)环境搭建(服务器搭建)
Spark搭建集群比较繁琐,需要的内容比较多,这里主要从Centos.Hadoop.Hive.ZooKeeper.kafka的服务器环境搭建开始讲.其中Centos的搭建不具体说了,主要讲下集群的配置 ...
- Spark入门到精通--(第十节)环境搭建(ZooKeeper和kafka搭建)
上一节搭建完了Hive,这一节我们来搭建ZooKeeper,主要是后面的kafka需要运行在上面. ZooKeeper下载和安装 下载ZooKeeper 3.4.5软件包,可以在百度网盘进行下载.链接 ...
- Spark入门到精通--(外传)Cloudera CDH5.5.4搭建
http://www.mamicode.com/info-detail-601202.html continue...
- Spark入门到精通--(第二节)Scala编程详解基础语法
Scala是什么? Scala是以实现scaleable language为初衷设计出来的一门语言.官方中,称它是object-oriented language和functional languag ...
- spark入门到精通(后续开始学习)
早几年国内外研究者和业界比较关注的是在 Hadoop 平台上的并行化算法设计.然而, HadoopMapReduce 平台由于网络和磁盘读写开销大,难以高效地实现需要大量迭代计算的机器学习并行化算法. ...
- Spark修炼之道(进阶篇)——Spark入门到精通:第九节 Spark SQL执行流程解析
1.总体执行流程 使用下列代码对SparkSQL流程进行分析.让大家明确LogicalPlan的几种状态,理解SparkSQL总体执行流程 // sc is an existing SparkCont ...
- NHibernate从入门到精通系列——NHibernate环境与结构体系
内容摘要 NHibernate的开发环境 NHibernate的结构体系 NHibernate的配置 一.NHibernate的开发环境 NHibernate的英文官方网站为:http://nhfor ...
随机推荐
- 【原创】大叔经验分享(9)yarn重要配置yarn.nodemanager.local-dirs
yarn中有一个比较重要的配置yarn.nodemanager.local-dirs,如果配置的不好,在饱和状态运行下集群会出现很多问题:1 默认配置${hadoop.tmp.dir}/nm-loca ...
- JAVA 实现 简单的 HTTP服务器
关于JAVA的HTTP服务器的简单实现,还望大家给出宝贵建议,谢谢. 1.首先来说下HTTP所有的状态碼,相信对于网页开发的博友们,肯定不陌生. 状态码 状态码英文名称 中文描述 100 Contin ...
- SpringBoot系列三:SpringBoot自定义Starter
在前面两章 SpringBoot入门 .SpringBoot自动配置原理 的学习后,我们对如何创建一个 SpringBoot 项目.SpringBoot 的运行原理以及自动配置等都有了一定的了解.如果 ...
- sass进阶—变量运算
/*变量操作 (两个变量之间的运算符需要用空格隔开,否则会报错.)==,!= <,>,<=,>=+,-,*,/,% */ $width1:50px;$width2:100px; ...
- Angular路由——子路由
一.子路由语法: 二.实例 在商品详情页面,除了显示商品id信息,还显示了商品描述,和销售员的信息. 通过子路由实现商品描述组件和销售员信息组件展示在商品详情组件内部. 1.新建2个组件修改其内容 n ...
- shaderlab UV动画所需的变量声明
优化资源.美术需要迫使自己的顶点shader能够进行TRANSFORM_TEX运算,进行该运算的前提是需要声明一个 _MainTex_ST 变量,类型为float4即可. 此时就可以使用unity c ...
- 前端js总结
1 . 在controller层中的@ResponseBody注解中返回的要是一个对象而不能用字符串. 2 . 给html页面的按钮添加单击事件 $(#login).click( function l ...
- 思维导图工具XMind
思维导图工具XMind XMind简单介绍 官网地址:https://www.xmind.cn/ XMind 是一个全功能的思维导图和头脑风暴软件,为激发灵感和创意而生.作为一款有效提升工作和生活效率 ...
- 关于linux上部署定时python脚本
遇到的坑: Python脚本中的文件操作,最好都用绝对路径, 文件头上写 #!/usr/local/bin/python3.6 ----------------------------------- ...
- 数组方括号有趣的split方法
今天看到了split的方法感觉好神奇的样子 split是javascript内置方法 就像join方法是连接数组并转换为字符串一样split方法是把数组拆分成多个部分,而且每一个部分都是数组的元素. ...