第一部分:Hadoop 在windows 上伪分布式的安装过程

安装JDK

1.下载JDK

       http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html

2.解压

   或者直接运行.exe安装

后面根据项目的实际需要来进行调整。

安装 Cygwin

1.下载Cygwin

    网址: http://www.cygwin.com/setup.exe

2.安装Cygwin

1. Net Category 下的OpenSSL

2.    Base Category 下的sed

3.Editors Category 下的vim

4.Devel Category  下subversion

后面根据项目的实际需要来进行调整。

配置环境变量

1.配置JAVA 环境变量

    PATH 和JAVA_HOME:

        JAVA_HOME 指向JDK安装目录;

        PATH 指向JDK的bin

启动 SSHD 服务

1.安装SSHD

   ssh-host-config

2. 启动SSHD

    net start sshd 

ssh 的安装和配置

实现ssh无密码登陆

$ssh-keygen -t rsa  

直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对

出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机

安装 Hadoop

1.下载Hadoop

   http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/

2.解压Hadoop

         tar xzvf hadoop-0.21.0.tar.gz

配置 Hadoop

1. 配置hadoop-env.sh

2 .配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件

概念

HDFS:

      NameNode  :管理节点

      DataNode   :数据节点

      SecondaryNamenode : 数据源信息备份整理节点

MapReduce

       JobTracker  :任务管理节点

       Tasktracker  :任务运行节点

配置文件

       core-site.xml   common属性配置

       hdfs-site.xml    HDFS属性配置

       mapred-site.xml  MapReduce属性配置

       hadoop-env.sh     hadooop 环境变量配置

修改 hadoop-env.sh

配置JDK即可

export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25

core-site.xml

java代码:

  1. <configuration>      
  2. <property>   
  3.        <name>fs.default.name</name>   
  4.        <value>hdfs://localhost:9000</value> 
  5. </property>   
  6. <property> 
  7.        <name>hadoop.tmp.dir</name> 
  8.         <value>/hadoop</value> 
  9.      </property> 
  10. </configuration>   

hdfs-site.xml

java代码:

  1. <configuration>      
  2.    <property>   
  3.          <name>dfs.replication</name>   
  4.          <value>1</value>   
  5.     </property>   
  6. </configuration>   

mapred-site.xml

java代码:

 

  1. <configuration>      
  2.     <property>   
  3.          <name>mapred.job.tracker</name>   
  4.          <value>localhost:9001</value>   
  5.     </property>   
  6. </configuration>   

启动 Hadoop

1.格式化文件系统

      hadoop namenode –format

2. 启动hadoop

      启动所有任务start-all.sh/stop-all.sh

      启动关闭HDFS: start-dfs.sh/stop-dfs.sh

      启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh      

3. 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker

第二部分:Hadoop 在linux  上单节点伪分布式的安装过程

安装 JDK

$chmod +x jdk-6u27-linux-i586.bin

$./jdk-6u27-linux-i586.bin

安装完后设置java 环境变量如下

命令 :/home路径下

$vi .bashrc

然后添加如下语句

export JAVA_HOME=/home/test/ jdk1.6.0_27

export PATH =/bin:$JAVA_HOME/bin:/usr/bin:$PATH:.

然后. .bashrc使其生效

ssh 的安装和配置

$实现ssh无密码登陆

$sudo apt-get install ssh

$ssh-keygen 

直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对

出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机

Hadoop 安装

1.下载Hadoop

   http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/

2.解压Hadoop

         tar xzvf hadoop-0.21.0.tar.gz

3. 添加Hadoop Bin到环境变量中

修改 hadoop-env.sh

配置JDK即可

export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25

conf/core-site.xml

java代码:

 

  1. <configuration>      
  2.     <property>   
  3.           <name>fs.default.name</name>   
  4.           <value>hdfs://localhost:9000</value> 
  5.       </property>   
  6.       <property> 
  7.            <name>hadoop.tmp.dir</name> 
  8.            <value>/hadoop</value> 
  9.        </property> 
  10. </configuration>   

conf/hdfs-site.xml

java代码:

 

  1. <configuration>      
  2.    <property>   
  3.          <name>dfs.replication</name>   
  4.          <value>1</value>   
  5.     </property>   
  6. </configuration>   

conf/mapred-site.xml

java代码:

  1. <configuration>      
  2.      <property>   
  3.          <name>mapred.job.tracker</name>   
  4.          <value>localhost:9001</value>   
  5.     </property>   
  6. </configuration>   

启动 Hadoop

1.格式化文件系统

      hadoop namenode –format

2. 启动hadoop

     启动关闭所有服务 start-all.sh/stop-all.sh

     启动关闭HDFS: start-dfs.sh/stop-dfs.sh

     启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh

3. 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker

第三部分:Hadoop UI 介绍

Hadoop 重要的端口

1.Job Tracker 管理界面:50030

2.HDFS 管理界面 :50070

3.HDFS通信端口:9000

4.MapReduce通信端口:9001

常用访问页面

1. HDFS 界面

        http://hostname:50070

2. MapReduce 管理界面

        http://hostname:50030

第四部分:运行Word Count 示例

相关步骤及命令

1.先在本地磁盘上建立两个文件file1和file2

      $ echo ”Hello world Bye world" > >~/input/file1

      $ echo ”hello hadoop bye hadoop” > >~/input/file2

2.在HDFS上建立一个input目录

       $ hadoop fs -mkdir /tmp/input

3.将file1和file2拷贝到hdfs的input目录下

       $ hadoop fs -put input/* /tmp/input

4.检查hdfs上有没有file1,file2

     $ hadoop fs -ls /tmp/input

5.执行wordcount

   hadoop jar hadoop-examples-1.0.0.jar wordcount  /tmp/input  /tmp/output

6.运行完成,查看结果

   hadoop fs -cat /output/part-r-00000

第五部分:集成 Eclipse 开发环境

通过 Eclipse 编写 Hadoop 程序

1.导入hadoop-core.jar及hadoop/lib下所有Jar包

2.加入Hadoop配置文件,包括conf/core-site.xml、conf/hdfs-site.xml、conf/mapred- site.xml,并修改相应参数。

本节课程小结

掌握了在Windows ,Linux(ubuntu)上安装Hadoop 单节点伪分布式安装 

初次体验了Hadoop运行的WordCounter程序 

了解了Hadoop UI

掌握了Hadoop 集成到 Eclipse的情况

Hadoop 在windows 上伪分布式的安装过程的更多相关文章

  1. Hadoop Single Node Setup(hadoop本地模式和伪分布式模式安装-官方文档翻译 2.7.3)

    Purpose(目标) This document describes how to set up and configure a single-node Hadoop installation so ...

  2. Hadoop 3.1.3伪分布式环境安装Hive 3.1.2的异常总结

    背景:hadoop版本为3.1.3, 且以伪分布式形式安装,hive版本为3.1.2,hive为hadoop的一个客户端. 1. 安装简要步骤 (1) 官网下载apache-hive-3.1.2-bi ...

  3. hadoop 2.6.0 伪分布式部署安装遇到的问题

    之前读到了一篇关于配置安装hadoop的博文(地址:http://www.powerxing.com/install-hadoop/)能正确安装和运行,但是在网页进行Jobtracker监控时,输入l ...

  4. Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)

    一.本文思路 [1].配置java环境–JDK12(Hadoop的底层实现语言是java,hadoop运行需要JDK环境) [2].安装Hadoop 1.解压hadop 2.配置hadoop环境变量 ...

  5. 初学者值得拥有【Hadoop伪分布式模式安装部署】

    目录 1.了解单机模式与伪分布模式有何区别 2.安装好单机模式的Hadoop 3.修改Hadoop配置文件---五个核心配置文件 (1)hadoop-env.sh 1.到hadoop目录中 ​ 2.修 ...

  6. Hadoop:Hadoop单机伪分布式的安装和配置

    http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏. 之前是在doc ...

  7. Hadoop Yarn(一)—— 单机伪分布式环境安装

    HamaWhite(QQ:530422429)原创作品,转载请注明出处:http://write.blog.csdn.net/postedit/40556267. 本文是依据Hadoop官网安装教程写 ...

  8. Hadoop生态圈-hbase介绍-伪分布式安装

    Hadoop生态圈-hbase介绍-伪分布式安装 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HBase简介 HBase是一个分布式的,持久的,强一致性的存储系统,具有近似最 ...

  9. hadoop 2.7.3伪分布式安装

    hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...

随机推荐

  1. django概述

    一.django的特点 1.提供一体化的web解决方案,什么叫一体化:mvc 2.等你玩儿牛逼了可以拔插组件,换成自己顺手或者更牛逼的组件

  2. 利用python scrapy 框架抓取豆瓣小组数据

    因为最近在找房子在豆瓣小组-上海租房上找,发现搜索困难,于是想利用爬虫将数据抓取. 顺便熟悉一下Python. 这边有scrapy 入门教程出处:http://www.cnblogs.com/txw1 ...

  3. 用Sqlplus手动创建Oracle11g数据库

    用Sqlplus手动创建Oracle数据库 刚开始学习Oracle数据库,菜鸟一个,使用sqlplus创建数据库遇到了很多问题,通过不断地百度,终于创建成功了.所以顺便把整个过程中犯的一些最低级的错误 ...

  4. 带搜索框的下拉框chosen.jQury.js

    下载所需js,css png资源     <link href="chosen.css" rel="stylesheet" type="text ...

  5. 设计模式之Composite(组合)模式

    1.出现原因 1.在面向对象系统中,我们常会遇到一类具有“容器”特征的对象——即它们在充当对象的同时,又是其他对象的容器. 如何将“客户代码与复杂的对象容器结构”解耦(将这种组合容器对象设计成树形结构 ...

  6. appium-UI automator viewer 无[ resource-id ]项

    问题:UI automator viewer 无[ resource-id ]项,如下图 解决办法: 手机android  版本太低导致(本人4.2.2),在android4.3机子上运行正常

  7. 802.11 wireless 1(主要还是学习ccna wireless的体系)

    802.11 wireless 1(主要还是学习ccna wireless的体系)ISM频带(ISM band starts early 1990s)900MHZ   2.4GHZ   5GHZ 四种 ...

  8. Leetcode#89 Gray Code

    原题地址 二进制码 -> 格雷码:从最右边起,依次与左边相邻位异或,最左边一位不变.例如: 二进制: 1 0 0 1 1 1 0 |\|\|\|\|\|\| 格雷码: 1 1 0 1 0 0 1 ...

  9. 导入ApiDemo报错,找不到R文件

    1.先检查当前ApiDemo对应的SDK版本是否一致(项目右键-Properties-Android) 2.查看是什么错误.我的就是layout中的progressbar_2.xml中所有组件的id前 ...

  10. UML组件图(转载)

    概述: 组件图是不同的性质和行为.组件图用于模拟物理方面的系统. 现在的问题是什么,这些物理方面?物理方面的元素,如可执行文件,库,文件,证件等它位于在一个节点. 因此,组件图用于可视化的组织和系统组 ...