今天大概尝试了一下伪分布式下的hadoop部署,简单的来总结一下

首先我们需要下载hadoop的压缩包文件:http://hadoop.apache.org/releases.html这里是hadoop项目的所有版本,不管你所使用的是那个版本基本的配置应该是一样的,我这里学习的版本有点低所使用的是0.20.2。如果选用了其他的版本,文件的目录可能会有所不同

下载完成hadoop后我们将它拷贝到用户目录下面,我的目录是/home/admin/hadoop-0.20.2.tar.gz

然后将文件解压:打开命令窗口运行命令:tar  -zxvf hadoop-0.20.2.tar.gz将文件解压如图:

回车之后就可以将文件解压,下面运行命令:ls 可以看到我们的文件目录下面多出了一个hadoop-0.20.2的文件夹

然后我们到这个目录下面  cd hadoop-0.20.2/conf

然后运行命令:ls 我们可以看到这个目录下的文件,我们需要配置的文件有:hdfs-site.xml  、core-site.xml 、hadoop-env.sh 、 mapred-site.xml这四个文件。

首先我们来配置一下文件:hdfs-site.xml

需要在文件中添加:

<property>

  <name>dfs.data.dir</namd>    //这个是用来存放hadoop文件的路径

  <value>/admin/hadoop/data</value>

  <name>dfs.replication</name>  //这个是hadoop文件所需要拷贝的文件个数,如果你有N个节点value值就是多少

  <value>1</value>

</property>

然后保存后我们来配置文件:core-site.xml

也是在文件中添加属性:

<property>

  <name>fs.default.name</name>

  <value>hdfs://localhost:9000</value>

</property>

然后我们来配置文件:hadoop-env.sh

在文件中找到:#  export JAVA_HOME=/usr/java/sun

将前面的“#”号去掉然后将自己的jdk的路径配置到上面

我的JAVA_HOME是:/usr/java/jdk所以我配置的路径就是:JAVA_HOME=/usr/java/jdk

最后我们能来配置文件:mapred-site.xml

需要添加的内容是:

<property>

  <name>mapred.job.tarcker</name>     //这个设置了jobtracker的端口。

  <value>localhost:9001</value>

</property>

以上的配置文件确定配置正确后

配置SSH 生成密钥,使SSH可以面密钥连接到localhost

我们切换到用户的根目录下,然后运行命令:ssh-keygen -t rsa   会提示输入密钥的存放路径我们保持默认就行

OK密钥已经生成我们进行直接运行命令:cd .ssh  然后运行:ls查看该目录下的所有的文件,因为.ssh是隐藏的目录所以我们在/admin 目录下使用ls命令是看不到.ssh目录的

运行:cp id_rsa.pub  authorized_keys将公钥拷贝到authorized_keys文件中

然后我们开始格式换分布是系统:

到hadoop-0.20.2目录下面运行命令:bin/hadoop namenode -format

出现上面红线的语句就说明已经格式化成功了

然后我们使用:/bin/start-all.sh 来启动hadoop

我们可以运行命令到根目录:

有必要说明一下这里的/usr/java/jdk/bin/jps中的jdk就是java的jdk我只是更改了一下文件夹的名字方便书写

运行命令能够看到以上内容就说明你的hadoop已经正常启动了

最后关闭hadoop运行命令:bin/stop-all.sh就可以了

伪分布式下的hadoop简单配置的更多相关文章

  1. 云计算课程实验之安装Hadoop及配置伪分布式模式的Hadoop

    一.实验目的 1. 掌握Linux虚拟机的安装方法. 2. 掌握Hadoop的伪分布式安装方法. 二.实验内容 (一)Linux基本操作命令 Linux常用基本命令包括: ls,cd,mkdir,rm ...

  2. (四)伪分布式下jdk1.6+Hadoop1.2.1+HBase0.94+Eclipse下运行wordCount例子

    本篇先介绍HBase在伪分布式环境下的安装方式,然后将MapReduce编程和HBase结合起来使用,完成WordCount这个例子. HBase在伪分布环境下安装 一.   前提条件 已经成功地安装 ...

  3. 伪分布式下Hadoop3.0打不开localhost:50070

    伪分布式下Hadoop打不开localhost:50070,可以打开localhost:8088 1.对hdfs进行format hadoop namenode -format 在选择Y/N时输入大写 ...

  4. 使用IDEA远程向伪分布式搭建的Hadoop提交MapReduce作业

    环境 VirtualBox 6.1 IntelliJ IDEA 2020.1.1 Ubuntu-18.04.4-live-server-amd64 jdk-8u251-linux-x64 hadoop ...

  5. 伪分布式下Hadoop3.2版本打不开localhost:50070,可以打开localhost:8088

    一.问题描述 伪分布式下Hadoop3.2版本打不开localhost:50070,可以打开localhost:8088 二.解决办法 Hadoop3.2版本namenode的默认端口配置已经更改为9 ...

  6. Centos 6.5下一个SNMP简单配置(snmp protocol v3,监控宝)

    Centos 6.5下一个SNMP简单配置(snmp protocol v3.监控宝) jom_ch@2014/7/25 1,安装 >yum -y install net-snmp net-sn ...

  7. Mac OS X上搭建伪分布式CDH版本Hadoop开发环境

    最近在研究数据挖掘相关的东西,在本地 Mac 环境搭建了一套伪分布式的 hadoop 开发环境,采用CDH发行版本,省时省心. 参考来源 How-to: Install CDH on Mac OSX ...

  8. 配置伪分布模式下的hadoop以及采用fuse-dfs来访问HDFS

    实验目标 配置环境的主要目的是得到HDFS的客户端fuse-dfs的IO性能.本来的服务器上没有任何环境,因此安装均是从无到有的.系统是Ubuntu server 14.04 amd64.整个过程参考 ...

  9. Hive 伪分布式下安装

    本安装过程只作为个人笔记用,非标准教程,请酌情COPY.:-D Hive下载 下载之前,需先查看兼容的Hadoop版本,并安装hadoop,参考 http://www.cnblogs.com/yong ...

随机推荐

  1. poj1061 青蛙的约会 扩展欧几里德的应用

    这个题解得改一下,开始接触数论,这道题目一开始是看了别人的思路做的,后来我又继续以这种方法去做题,发现很困难,学长告诉我先看书,把各种词的定义看懂了,再好好学习,我做了几道朴素的欧几里德,尽管是小学生 ...

  2. static和extern的区别

    extern(外部) 1.对函数      完整的定义一个外部函数(可以省略extern)      完整的声明一个外部函数(可以省略extern) 2.对变量      只能声明一个外部变量(不能省 ...

  3. ASP.NET|跳转(redirect)到其它站点,提示:当前线程终止。

    在XAF中,如果使用HttpContext.Response.Redirect()进行跳转,会出现”当前线程终止“的报错,跳转失败. 这时候,应该改用WebApplication.Redirect() ...

  4. ORA-04091: 表 发生了变化, 触发器/函数不能读它

    触发器中新调用了一个存储过程. 触发器: create or replace trigger tr_credits_wzclorder_clwzjk after update on app_wzclo ...

  5. hibernate的配置文件

  6. NHibernate分页

    转载:http://www.cnblogs.com/tenghoo/archive/2011/02/14/1954393.html NHibernate专题:http://kb.cnblogs.com ...

  7. 学习理论之正则化(Regularization)与模型选择

    一.引言 对于一个学习问题,可以假设很多不同的模型,我们要做的是根据某一标准选出最好的模型.例如,在多项式回归中,对于我们的假设模型,我们最要紧的是决定 k 到底取多少合适,能不能有一种方法可以自动选 ...

  8. Codeforces Gym 100531D Digits 暴力

    Problem D. Digits 题目连接: http://codeforces.com/gym/100531/attachments Description Little Petya likes ...

  9. Codeforces Beta Round #75 (Div. 1 Only) B. Queue 线段树+二分

    B. Queue Time Limit: 20 Sec Memory Limit: 256 MB 题目连接 codeforces.com/problemset/problem/91/B Descrip ...

  10. hihocoder #1177 : 顺子 模拟

    #1177 : 顺子 Time Limit: 20 Sec Memory Limit: 256 MB 题目连接 http://hihocoder.com/problemset/problem/1177 ...