说明：我用的是压缩包安装，不是安装包

官网安装说明：http://hadoop.apache.org/docs/r1.1.2/cluster_setup.html，繁冗，看的眼花...大部分人应该都不是按照这个来的...按照这个做我相信也会碰到各种问题

精简版安装说明：http://www.linuxidc.com/Linux/2013-01/77678.htm 言简，但如果照搬，绝对会遇到一些问题...

接下来记录我遇到的问题：

环境 jdk1.7.0_09 + debian6 32bit + 4核1G内存（虚拟机不是我配置的，诡异的配置...）

尽量按照精简版的来，注意根据实际情况修改路径等。

我 发现在实际操作过程中，/usr/etc/hadoop里的配置是从$HADOOP_HOME里复制过来的，但主节点实际读取的是/usr/etc /hadoop里的配置，而不是$HADOOP_HOME里的配置。所以修改配置时，实际起作用的是/usr/etc/hadoop里的。

在主节点用start-all.sh启动集群，只有主节点的5个进程启动了，而从节点的一个都没启动，会报错。

由于精简版中，从节点只获得了主节点的配置文件，而从节点启动时，实际读取配置文件的位置可能不是$HADOOP_HOME。

根据异常信息（异常信息就不列出了），我是这样做的：

1.把$HADOOP_HOME里的bin sbin libexec 3个文件夹中的内容复制到 /usr 中

2.把主节点中的/usr/share/hadoop里的内容复制到从节点中的相同位置，否则从节点会说找不到某类(****.Platformname)

到这，应该就能启动集群了。如果报JAVA_HOME没有设置，就在主节点中找到所有 hadoop-env.sh 文件的位置，然后在从节点中的同样位置放置设置了JAVA_HOME的 hadoop-env.sh 文件。

运行WordCount遇到的问题主要是不知道dfs和本地fs处于逻辑上平行的空间，要用"hadoop dfs -put"和"hadoop dfs -get"上传或下载文件，可以用"hadoop dfs -help" 命令查看帮助。

ps. 运行速度好慢...

debian下 Hadoop 1.0.4 集群配置及运行WordCount的更多相关文章

  1. Linux系统下安装Redis和Redis集群配置

    Linux系统下安装Redis和Redis集群配置 一. 下载.安装.配置环境: 1.1.>官网下载地址: https://redis.io/download (本人下载的是3.2.8版本:re ...

  2. Redis-5.0.5集群配置

    版本:redis-5.0.5 参考:http://redis.io/topics/cluster-tutorial. 集群部署交互式命令行工具:https://github.com/eyjian/re ...

  3. Redis 3.0 Cluster集群配置

    Redis 3.0 Cluster集群配置 安装环境依赖 安装gcc:yum install gcc 安装zlib:yum install zib 安装ruby:yum install ruby 安装 ...

  4. CentOS7.1.x+Druid 0.12 集群配置

    原文转载自:https://blog.csdn.net/bigtree_3721/article/details/79583008 先决条件:安装版本列表 本次安装满足下面的条件: CentOS v7 ...

  5. Hadoop(25)-高可用集群配置,HDFS-HA和YARN-HA

    一. HA概述 1. 所谓HA(High Available),即高可用(7*24小时不中断服务). 2. 实现高可用最关键的策略是消除单点故障.HA严格来说应该分成各个组件的HA机制:HDFS的HA ...

  6. Redis-4.0.11集群配置

    版本:redis-3.0.5 redis-3.2.0  redis-3.2.9  redis-4.0.11 参考:http://redis.io/topics/cluster-tutorial. 集群 ...

  7. hadoop之完全分布式集群配置（centos7）

    一.基础环境 现在我们有两台虚拟机了,再克隆两台: 克隆好之后需要做三件事:1.更改主机名称 2.修改ip地址 3.将ip地址和对应的主机号加入到/etc/hosts文件中 1.永久修改主机名 hos ...

  8. Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)

    课程大纲及内容简介: 每节课约35分钟,共不下40讲 第一章(11讲) ·分布式和传统单机模式 ·Hadoop背景和工作原理 ·Mapreduce工作原理剖析 ·第二代MR--YARN原理剖析 ·Cl ...

  9. CentOS系统下Hadoop 2.4.1集群安装配置（简易版）

    安装配置 1.软件下载 JDK下载:jdk-7u65-linux-i586.tar.gz http://www.oracle.com/technetwork/java/javase/downloads ...

随机推荐

  1. c/c++ 标准库 map set 大锅炖

    标准库 map set 大锅炖 一,关联容器有哪些 按关键字有序保存元素 map 保存key和value set 只保存key mulutimap key可以重复出现 multiset key可以重复 ...

  2. 老生常谈：Windows的7类安全漏洞

    这是篇比较老的文章,但是现在翻出来发下,还是会让大家对Windows的安全漏洞有所了解.建议大家阅读<软媒原创:如何从根上保证电脑安全.不中毒>. 目前微软系列产品中,危害计算机安全的漏洞 ...

  3. puppet 横向扩展(三)

    Table of Contents 1. 概述 2. 实验环境 3. 实验步骤 3.1. 机器B 的配置 3.2. 机器A 的配置 3.3. 测试配置结果 概述 横向扩展实验之三 – 将CA 认证服务 ...

  4. props default 数组／对象的默认值应当由一个工厂函数返回

    export default {props: { slides:{ type:Array, default:[] } },这是我的代码 报错是Invalid default value for pro ...

  5. php文件管理，能够点击依照时间，大小，名称排序

    php文件管理.能够点击依照时间.大小,名称排序  本例没实用到jquery 演示   PHP Code <?php    $rootdir="./";    $spacen ...

  6. Nginx处理请求过程

    1. worker进程工作机制  现在我们了解了当我们在操作nginx的时候,nginx内部做的一些事情,那么worker进程又是如何处理请求的呢?   我们前面有提到,worker进程之间是平等的, ...

  7. 史上最简单的springboot国际化多语言切换实现方案

    每天学习一点点 编程PDF电子书.视频教程免费下载:http://www.shitanlife.com/code 前提: 在resources目录下建立 messages_en_US.properti ...

  8. Spring Security（二十）：6.2.3 Form and Basic Login Options

    You might be wondering where the login form came from when you were prompted to log in, since we mad ...

  9. Flask 框架 重定向，捕获异常，钩子方法及使用jsonify在网页返回json数据

    Flask 框架中常用到重定向方法来实现路由的跳转 ,路由跳转又分为站内跳转和站外跳转 常用的站内跳转方法为url_for  而常用的站外跳转为redirect 在这里提示一下: 在使用两种方法是须调 ...

  10. Luogu5021 [NOIP2018]赛道修建

    Luogu5021 [NOIP2018]赛道修建 一棵大小为 \(n\) 的树,边带权.选 \(m\) 条链使得长度和最小的链最大. \(m<n\leq5\times10^4\) 贪心,二分答案 ...