伪分布式下的hadoop简单配置
今天大概尝试了一下伪分布式下的hadoop部署,简单的来总结一下
首先我们需要下载hadoop的压缩包文件:http://hadoop.apache.org/releases.html这里是hadoop项目的所有版本,不管你所使用的是那个版本基本的配置应该是一样的,我这里学习的版本有点低所使用的是0.20.2。如果选用了其他的版本,文件的目录可能会有所不同
下载完成hadoop后我们将它拷贝到用户目录下面,我的目录是/home/admin/hadoop-0.20.2.tar.gz
然后将文件解压:打开命令窗口运行命令:tar -zxvf hadoop-0.20.2.tar.gz将文件解压如图:
回车之后就可以将文件解压,下面运行命令:ls 可以看到我们的文件目录下面多出了一个hadoop-0.20.2的文件夹
然后我们到这个目录下面 cd hadoop-0.20.2/conf
然后运行命令:ls 我们可以看到这个目录下的文件,我们需要配置的文件有:hdfs-site.xml 、core-site.xml 、hadoop-env.sh 、 mapred-site.xml这四个文件。
首先我们来配置一下文件:hdfs-site.xml
需要在文件中添加:
<property>
<name>dfs.data.dir</namd> //这个是用来存放hadoop文件的路径
<value>/admin/hadoop/data</value>
<name>dfs.replication</name> //这个是hadoop文件所需要拷贝的文件个数,如果你有N个节点value值就是多少
<value>1</value>
</property>
然后保存后我们来配置文件:core-site.xml
也是在文件中添加属性:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
然后我们来配置文件:hadoop-env.sh
在文件中找到:# export JAVA_HOME=/usr/java/sun
将前面的“#”号去掉然后将自己的jdk的路径配置到上面
我的JAVA_HOME是:/usr/java/jdk所以我配置的路径就是:JAVA_HOME=/usr/java/jdk
最后我们能来配置文件:mapred-site.xml
需要添加的内容是:
<property>
<name>mapred.job.tarcker</name> //这个设置了jobtracker的端口。
<value>localhost:9001</value>
</property>
以上的配置文件确定配置正确后
配置SSH 生成密钥,使SSH可以面密钥连接到localhost
我们切换到用户的根目录下,然后运行命令:ssh-keygen -t rsa 会提示输入密钥的存放路径我们保持默认就行
OK密钥已经生成我们进行直接运行命令:cd .ssh 然后运行:ls查看该目录下的所有的文件,因为.ssh是隐藏的目录所以我们在/admin 目录下使用ls命令是看不到.ssh目录的
运行:cp id_rsa.pub authorized_keys将公钥拷贝到authorized_keys文件中
然后我们开始格式换分布是系统:
到hadoop-0.20.2目录下面运行命令:bin/hadoop namenode -format
出现上面红线的语句就说明已经格式化成功了
然后我们使用:/bin/start-all.sh 来启动hadoop
我们可以运行命令到根目录:
有必要说明一下这里的/usr/java/jdk/bin/jps中的jdk就是java的jdk我只是更改了一下文件夹的名字方便书写
运行命令能够看到以上内容就说明你的hadoop已经正常启动了
最后关闭hadoop运行命令:bin/stop-all.sh就可以了
伪分布式下的hadoop简单配置的更多相关文章
- 云计算课程实验之安装Hadoop及配置伪分布式模式的Hadoop
一.实验目的 1. 掌握Linux虚拟机的安装方法. 2. 掌握Hadoop的伪分布式安装方法. 二.实验内容 (一)Linux基本操作命令 Linux常用基本命令包括: ls,cd,mkdir,rm ...
- (四)伪分布式下jdk1.6+Hadoop1.2.1+HBase0.94+Eclipse下运行wordCount例子
本篇先介绍HBase在伪分布式环境下的安装方式,然后将MapReduce编程和HBase结合起来使用,完成WordCount这个例子. HBase在伪分布环境下安装 一. 前提条件 已经成功地安装 ...
- 伪分布式下Hadoop3.0打不开localhost:50070
伪分布式下Hadoop打不开localhost:50070,可以打开localhost:8088 1.对hdfs进行format hadoop namenode -format 在选择Y/N时输入大写 ...
- 使用IDEA远程向伪分布式搭建的Hadoop提交MapReduce作业
环境 VirtualBox 6.1 IntelliJ IDEA 2020.1.1 Ubuntu-18.04.4-live-server-amd64 jdk-8u251-linux-x64 hadoop ...
- 伪分布式下Hadoop3.2版本打不开localhost:50070,可以打开localhost:8088
一.问题描述 伪分布式下Hadoop3.2版本打不开localhost:50070,可以打开localhost:8088 二.解决办法 Hadoop3.2版本namenode的默认端口配置已经更改为9 ...
- Centos 6.5下一个SNMP简单配置(snmp protocol v3,监控宝)
Centos 6.5下一个SNMP简单配置(snmp protocol v3.监控宝) jom_ch@2014/7/25 1,安装 >yum -y install net-snmp net-sn ...
- Mac OS X上搭建伪分布式CDH版本Hadoop开发环境
最近在研究数据挖掘相关的东西,在本地 Mac 环境搭建了一套伪分布式的 hadoop 开发环境,采用CDH发行版本,省时省心. 参考来源 How-to: Install CDH on Mac OSX ...
- 配置伪分布模式下的hadoop以及采用fuse-dfs来访问HDFS
实验目标 配置环境的主要目的是得到HDFS的客户端fuse-dfs的IO性能.本来的服务器上没有任何环境,因此安装均是从无到有的.系统是Ubuntu server 14.04 amd64.整个过程参考 ...
- Hive 伪分布式下安装
本安装过程只作为个人笔记用,非标准教程,请酌情COPY.:-D Hive下载 下载之前,需先查看兼容的Hadoop版本,并安装hadoop,参考 http://www.cnblogs.com/yong ...
随机推荐
- poj1061 青蛙的约会 扩展欧几里德的应用
这个题解得改一下,开始接触数论,这道题目一开始是看了别人的思路做的,后来我又继续以这种方法去做题,发现很困难,学长告诉我先看书,把各种词的定义看懂了,再好好学习,我做了几道朴素的欧几里德,尽管是小学生 ...
- static和extern的区别
extern(外部) 1.对函数 完整的定义一个外部函数(可以省略extern) 完整的声明一个外部函数(可以省略extern) 2.对变量 只能声明一个外部变量(不能省 ...
- ASP.NET|跳转(redirect)到其它站点,提示:当前线程终止。
在XAF中,如果使用HttpContext.Response.Redirect()进行跳转,会出现”当前线程终止“的报错,跳转失败. 这时候,应该改用WebApplication.Redirect() ...
- ORA-04091: 表 发生了变化, 触发器/函数不能读它
触发器中新调用了一个存储过程. 触发器: create or replace trigger tr_credits_wzclorder_clwzjk after update on app_wzclo ...
- hibernate的配置文件
- NHibernate分页
转载:http://www.cnblogs.com/tenghoo/archive/2011/02/14/1954393.html NHibernate专题:http://kb.cnblogs.com ...
- 学习理论之正则化(Regularization)与模型选择
一.引言 对于一个学习问题,可以假设很多不同的模型,我们要做的是根据某一标准选出最好的模型.例如,在多项式回归中,对于我们的假设模型,我们最要紧的是决定 k 到底取多少合适,能不能有一种方法可以自动选 ...
- Codeforces Gym 100531D Digits 暴力
Problem D. Digits 题目连接: http://codeforces.com/gym/100531/attachments Description Little Petya likes ...
- Codeforces Beta Round #75 (Div. 1 Only) B. Queue 线段树+二分
B. Queue Time Limit: 20 Sec Memory Limit: 256 MB 题目连接 codeforces.com/problemset/problem/91/B Descrip ...
- hihocoder #1177 : 顺子 模拟
#1177 : 顺子 Time Limit: 20 Sec Memory Limit: 256 MB 题目连接 http://hihocoder.com/problemset/problem/1177 ...