说明：我用的是压缩包安装，不是安装包

官网安装说明：http://hadoop.apache.org/docs/r1.1.2/cluster_setup.html，繁冗，看的眼花...大部分人应该都不是按照这个来的...按照这个做我相信也会碰到各种问题

精简版安装说明：http://www.linuxidc.com/Linux/2013-01/77678.htm 言简，但如果照搬，绝对会遇到一些问题...

接下来记录我遇到的问题：

环境 jdk1.7.0_09 + debian6 32bit + 4核1G内存（虚拟机不是我配置的，诡异的配置...）

尽量按照精简版的来，注意根据实际情况修改路径等。

我 发现在实际操作过程中，/usr/etc/hadoop里的配置是从$HADOOP_HOME里复制过来的，但主节点实际读取的是/usr/etc /hadoop里的配置，而不是$HADOOP_HOME里的配置。所以修改配置时，实际起作用的是/usr/etc/hadoop里的。

在主节点用start-all.sh启动集群，只有主节点的5个进程启动了，而从节点的一个都没启动，会报错。

由于精简版中，从节点只获得了主节点的配置文件，而从节点启动时，实际读取配置文件的位置可能不是$HADOOP_HOME。

根据异常信息（异常信息就不列出了），我是这样做的：

1.把$HADOOP_HOME里的bin sbin libexec 3个文件夹中的内容复制到 /usr 中

2.把主节点中的/usr/share/hadoop里的内容复制到从节点中的相同位置，否则从节点会说找不到某类(****.Platformname)

到这，应该就能启动集群了。如果报JAVA_HOME没有设置，就在主节点中找到所有 hadoop-env.sh 文件的位置，然后在从节点中的同样位置放置设置了JAVA_HOME的 hadoop-env.sh 文件。

运行WordCount遇到的问题主要是不知道dfs和本地fs处于逻辑上平行的空间，要用"hadoop dfs -put"和"hadoop dfs -get"上传或下载文件，可以用"hadoop dfs -help" 命令查看帮助。

ps. 运行速度好慢...

debian下 Hadoop 1.0.4 集群配置及运行WordCount的更多相关文章

  1. Linux系统下安装Redis和Redis集群配置

    Linux系统下安装Redis和Redis集群配置 一. 下载.安装.配置环境: 1.1.>官网下载地址: https://redis.io/download (本人下载的是3.2.8版本:re ...

  2. Redis-5.0.5集群配置

    版本:redis-5.0.5 参考:http://redis.io/topics/cluster-tutorial. 集群部署交互式命令行工具:https://github.com/eyjian/re ...

  3. Redis 3.0 Cluster集群配置

    Redis 3.0 Cluster集群配置 安装环境依赖 安装gcc:yum install gcc 安装zlib:yum install zib 安装ruby:yum install ruby 安装 ...

  4. CentOS7.1.x+Druid 0.12 集群配置

    原文转载自:https://blog.csdn.net/bigtree_3721/article/details/79583008 先决条件:安装版本列表 本次安装满足下面的条件: CentOS v7 ...

  5. Hadoop(25)-高可用集群配置,HDFS-HA和YARN-HA

    一. HA概述 1. 所谓HA(High Available),即高可用(7*24小时不中断服务). 2. 实现高可用最关键的策略是消除单点故障.HA严格来说应该分成各个组件的HA机制:HDFS的HA ...

  6. Redis-4.0.11集群配置

    版本:redis-3.0.5 redis-3.2.0  redis-3.2.9  redis-4.0.11 参考:http://redis.io/topics/cluster-tutorial. 集群 ...

  7. hadoop之完全分布式集群配置（centos7）

    一.基础环境 现在我们有两台虚拟机了,再克隆两台: 克隆好之后需要做三件事:1.更改主机名称 2.修改ip地址 3.将ip地址和对应的主机号加入到/etc/hosts文件中 1.永久修改主机名 hos ...

  8. Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)

    课程大纲及内容简介: 每节课约35分钟,共不下40讲 第一章(11讲) ·分布式和传统单机模式 ·Hadoop背景和工作原理 ·Mapreduce工作原理剖析 ·第二代MR--YARN原理剖析 ·Cl ...

  9. CentOS系统下Hadoop 2.4.1集群安装配置（简易版）

    安装配置 1.软件下载 JDK下载:jdk-7u65-linux-i586.tar.gz http://www.oracle.com/technetwork/java/javase/downloads ...

随机推荐

  1. Python 标示符和关键字

    标示符 开发人员在程序中自定义的一些符号和名称.标示符是自己定义的,如变量名 .函数名等 标示符的规则 标示符由字母.下划线和数字组成,且数字不能开头   注:python中的标识符是区分大小写的 命 ...

  2. Python描述符的使用

    Python描述符的使用 前言 作为一位python的使用者,你可能使用python有一段时间了,但是对于python中的描述符却未必使用过,接下来是对描述符使用的介绍 场景介绍 为了引入描述符的使用 ...

  3. docker基础学习（一）

    操作演示: 1.查看一个容器的版本 [root@ELK-chaofeng08 ~]# docker version Client: Version: API version: 1.39 Go vers ...

  4. 4.4Python数据处理篇之Matplotlib系列(四)---plt.bar()与plt.barh条形图

    目录 目录 前言 (一)竖值条形图 (二)水平条形图 1.使用bar()绘制: 2.使用barh()绘制: (三)复杂的条形图 1.并列条形图: 2.叠加条形图: 3.添加图例于数据标签的条形图: 目 ...

  5. 第六章 第一个Linux驱动程序： 统计单词个数

    一.编写Linux驱动程序的步骤 第1 步:建立Linux 驱动骨架(装载和卸载Linux 驱动) 骨架部分主要是Linux驱动的初始化和退出函数,代码如下: #include <linux/m ...

  6. IT部门不应该是一个后勤部门

    管理上最大的问题在于不重视预算与核算的管理.从管理层到员工,很少有经营的念头,只是一味地埋头做事.西方企业总结了当今几百年的经营理念,最终把企业一切活动的评价都归结到唯一的.可度量的标准上:钱来度量. ...

  7. spring cloud(Greenwich.M2) hystrix dashboard 报/actuator/hystrix.stream 404 Not Found的问题

    consumer端不引用spring-boot-starter-actuator的情况 Consumer端会报Unable to connect to Command Metric Stream.新建 ...

  8. 设计模式のStatePattern（状态模式）----行为模式

    一.产生背景 在面向对象软件设计时,常常碰到某一个对象由于状态的不同而有不同的行为.如果用if else或是switch case等方法处理,对象操作及对象的状态就耦合在一起,碰到复杂的情况就会造成代 ...

  9. UVA1152-4 Values whose Sum is 0（分块）

    Problem UVA1152-4 Values whose Sum is 0 Accept: 794  Submit: 10087Time Limit: 9000 mSec Problem Desc ...

  10. 【css】怎么让Chrome支持小于12px 的文字

    谷歌浏览器Chrome是Webkit的内核,有一个 -webkit-text-size-adjust 的私有 CSS 属性,通过它即可实现字体大小不随终端设备或浏览器影响.CSS样式定义如下:-web ...