Hadoop入门 之 Hadoop的安装
1.安装Hadoop的三大步骤
答:1.Linux环境,2.JDK环境,3.配置Hadoop。
2.安装Linux
答:利用阿里云,腾讯云等公有云。选择Ubuntu进行安装,然后利用小putty进行操作。
3.安装JDK,设置环境变量
答:命令:ls,javac看是否安装有jdk,apk-get install openjdk-7-jdk进行安装。安装完毕之后设置环境变量,vim /etc/profile,添加下面四行。
export JAVA_HOME=/jdk的安装路径
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CALSSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
保存一下,vim etc/profile,source /etc/profile。到此,jdk就安装完毕了,可以在任何目录下javac。
4.下载安装配置Hadoop
答:(1)下载安装包 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz。ls查看当前目录的文件夹,把安装包放到指定文件夹opt中,mv hadoop-1.2.1.tar.gz /opt/,cd opt,ls,解压压缩包tar -zxvf hadoop-1.2.1.tar.gz
cd hadoop1.2.1/,看到主要配置文件在conf里面,cd conf,看到里面有四个需要配置的文件map-red-site.xml,core-site.xml,hdfs-site.xml,hadoop-env.sh。
第一,我们打开 vim hadoop-env.sh,echo JAVA_HOME打印出jdk的安装路径,修改export JAVA_HOME=/jdk路径,wq保存一下。
第二,打开 vim core-site.xml,添加如图2.
第三,vim hdfs-site.xml
第四,vim map-red-site.xml
第五,告诉系统我们的Hadoop位置,vim /etc/profile,加入,export HADOOP_HOME=/opt/Hadoop1.2.1,在PATH中,增加
:$HADOOP_HOME/bin:$PATH,wq保存,再source /etc/profile生效,这时命令行输入hadoop,cd ..,cd bin/,ls
第六,hadoop namenode -format,进行格式化namenode
5.启动Hadoop
答:cd /otc/hadoop1.2.1/bin/,ls,start-all.sh,然后输入jps,查看当前Hadoop的进程,查看Hadoop下有哪些文件,hadoop fs -ls/
Hadoop入门 之 Hadoop的安装的更多相关文章
- 大数据初级笔记二:Hadoop入门之Hadoop集群搭建
Hadoop集群搭建 把环境全部准备好,包括编程环境. JDK安装 版本要求: 强烈建议使用64位的JDK版本,这样的优势在于JVM的能够访问到的最大内存就不受限制,基于后期可能会学习到Spark技术 ...
- hadoop入门:hadoop使用shell命令总结
第一部分:Hadoop Bin后面根据项目的实际需要Hadoop Bin 包括:Hadoop hadoop的Shellhadoop-config.sh 它的作用是对一些变量进行赋值 HAD ...
- Hadoop入门——初识Hadoop
一.hadoop是什么 Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力.几乎所有主流厂商都围绕Hadoop开发工具.开源软件.商业化工具和技术服务.今年大型IT ...
- hadoop入门篇-hadoop下载安装教程(附图文步骤)
在前几篇的文章中分别就虚拟系统安装.LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤. 在此之前有必要做一个简单的说明:分享的所有内容 ...
- Hadoop入门 之 Hadoop常识
1.Hadoop是什么? 答:Hadoop是开源的分布式存储和分布式计算平台. 2.Hadoop的组成是什么? 答:Hadoop由HDFS和MapReduce这两个核心部分组成. HDFS(Hadoo ...
- Hadoop入门必须知道的简单知识
Hadoop入门知识 Hadoop构成 Hadoop由4个主要构成部分: 1) 基础核心:提供基础的通用的功能 2) HDFS:分布式存储 3) MapReduce:分布式计算 4) YARN:资源分 ...
- 初识Hadoop入门介绍
初识hadoop入门介绍 Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身. < ...
- hadoop入门(3)——hadoop2.0理论基础:安装部署方法
一.hadoop2.0安装部署流程 1.自动安装部署:Ambari.Minos(小米).Cloudera Manager(收费) 2.使用RPM包安装部署:Apache ...
- Hadoop入门之安装配置(hadoop-0.20.2)
Hadoop,简单理解为HDFS(分布式存储)+Mapreduce(分布式处理),专为离线和大规模数据分析而设计. Hadoop可以把很多linux的廉价PC组成分布式结点,然后编程人员也不需要知道分 ...
随机推荐
- python对接常用数据库,快速上手!
python对接常用数据库,快速上手! 很多同学在使用python进行自动化测试的时候,会涉及到数据库数据校验的问题,因为不知道如何在python中如何对数据库,这个时候会一脸茫然,今天在这里给大家汇 ...
- arcgis三维球中加载2000坐标系出现错误(The tiling scheme of this layer is not supported by SceneView)
目前我们国家测绘地理信息的坐标体系基准是国家2000坐标系CGCS2000.各类地图组件如OpenLayers.Mapbox.Cesuim和ArcGIS Javascrip等都主要是支持WGS84(w ...
- 随笔编号-09 批量导入数据(Mysql)报MySQL server has gone away 问题的解决方法
问题场景: 使用*.sql 脚本,批量导入数据到mysql实例中,使用DOS 界面导入的,期间,到最后一步 source D:\aaa.sql 回车后,系统提示 MySQL server has g ...
- 分布式任务调度框架 Azkaban —— Flow 2.0 的使用
一.Flow 2.0 简介 1.1 Flow 2.0 的产生 Azkaban 目前同时支持 Flow 1.0 和 Flow2.0 ,但是官方文档上更推荐使用 Flow 2.0,因为 Flow 1.0 ...
- WPF 浏览PDF 文件
添加成功后会在工具箱里看到下图所示的控件.打开VS2010,新建项目(WpfPDFReader),右键项目添加User Control(用户控件).因为Adobe PDF Reader COM 组件是 ...
- GMTC 2019-前端夜话《聊聊前端工程师的成长和发展》会后简要总结
今天晚上去参加了winter主持的前端夜话:聊聊前端工程师的成长和发展圆桌论坛分享会,真的是收益颇多,这次的这个嘉宾阵容也是很有诚意的,在现在前端领域都是有一定影响力的嘉宾,嘉宾阵容也列一下: 主 ...
- ElementUI使用v-if控制tab标签显示遇到的Duplicate keys detected: 'xxx'问题
今天工作遇到一个问题: 需求背景:页面中有几个tab,需要根据登录用户的权限控制tab标签的显示与隐藏 . <el-tabs @tab-click="handleClick" ...
- redis之mq实现发布订阅模式
示例代码-github 概述 Redis不仅可作为缓存服务器,还可用作消息队列,本示例演示如何使用redis实现发布/订阅消息队列. 在Redis中,发布者没有将消息发送给特定订阅者的程序.相反,发布 ...
- gym/102059/problem/I. Game on Plane SG函数做博弈
传送门: 题意: 给定一个正n边形的点.双方轮流连点成线,要求所画的线不能与之前的线相交.当某个人连成一个回路,这个人就输了.问先手必胜还是后手必胜. 思路: SG函数,因为一条线相当于把图劈成了两半 ...
- 树形动态规划 fjutoj-2392 聚会的快乐
聚会的快乐 TimeLimit:1000MS MemoryLimit:128MB 64-bit integer IO format:%lld Problem Description 你要组织一个由你 ...