debian下 Hadoop 1.0.4 集群配置及运行WordCount
说明：我用的是压缩包安装，不是安装包
官网安装说明：http://hadoop.apache.org/docs/r1.1.2/cluster_setup.html，繁冗，看的眼花...大部分人应该都不是按照这个来的...按照这个做我相信也会碰到各种问题
精简版安装说明：http://www.linuxidc.com/Linux/2013-01/77678.htm 言简，但如果照搬，绝对会遇到一些问题...
接下来记录我遇到的问题：
环境 jdk1.7.0_09 + debian6 32bit + 4核1G内存（虚拟机不是我配置的，诡异的配置...）
尽量按照精简版的来，注意根据实际情况修改路径等。
我 发现在实际操作过程中，/usr/etc/hadoop里的配置是从$HADOOP_HOME里复制过来的，但主节点实际读取的是/usr/etc /hadoop里的配置，而不是$HADOOP_HOME里的配置。所以修改配置时，实际起作用的是/usr/etc/hadoop里的。
在主节点用start-all.sh启动集群，只有主节点的5个进程启动了，而从节点的一个都没启动，会报错。
由于精简版中，从节点只获得了主节点的配置文件，而从节点启动时，实际读取配置文件的位置可能不是$HADOOP_HOME。
根据异常信息（异常信息就不列出了），我是这样做的：
1.把$HADOOP_HOME里的bin sbin libexec 3个文件夹中的内容复制到 /usr 中
2.把主节点中的/usr/share/hadoop里的内容复制到从节点中的相同位置，否则从节点会说找不到某类(****.Platformname)
到这，应该就能启动集群了。如果报JAVA_HOME没有设置，就在主节点中找到所有 hadoop-env.sh 文件的位置，然后在从节点中的同样位置放置设置了JAVA_HOME的 hadoop-env.sh 文件。
运行WordCount遇到的问题主要是不知道dfs和本地fs处于逻辑上平行的空间，要用"hadoop dfs -put"和"hadoop dfs -get"上传或下载文件，可以用"hadoop dfs -help" 命令查看帮助。
ps. 运行速度好慢...
debian下 Hadoop 1.0.4 集群配置及运行WordCount的更多相关文章
- Linux系统下安装Redis和Redis集群配置
Linux系统下安装Redis和Redis集群配置 一. 下载.安装.配置环境: 1.1.>官网下载地址: https://redis.io/download (本人下载的是3.2.8版本:re ...
- Redis-5.0.5集群配置
版本:redis-5.0.5 参考:http://redis.io/topics/cluster-tutorial. 集群部署交互式命令行工具:https://github.com/eyjian/re ...
- Redis 3.0 Cluster集群配置
Redis 3.0 Cluster集群配置 安装环境依赖 安装gcc:yum install gcc 安装zlib:yum install zib 安装ruby:yum install ruby 安装 ...
- CentOS7.1.x+Druid 0.12 集群配置
原文转载自:https://blog.csdn.net/bigtree_3721/article/details/79583008 先决条件:安装版本列表 本次安装满足下面的条件: CentOS v7 ...
- Hadoop(25)-高可用集群配置,HDFS-HA和YARN-HA
一. HA概述 1. 所谓HA(High Available),即高可用(7*24小时不中断服务). 2. 实现高可用最关键的策略是消除单点故障.HA严格来说应该分成各个组件的HA机制:HDFS的HA ...
- Redis-4.0.11集群配置
版本:redis-3.0.5 redis-3.2.0 redis-3.2.9 redis-4.0.11 参考:http://redis.io/topics/cluster-tutorial. 集群 ...
- hadoop之完全分布式集群配置（centos7）
一.基础环境 现在我们有两台虚拟机了,再克隆两台: 克隆好之后需要做三件事:1.更改主机名称 2.修改ip地址 3.将ip地址和对应的主机号加入到/etc/hosts文件中 1.永久修改主机名 hos ...
- Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)
课程大纲及内容简介: 每节课约35分钟,共不下40讲 第一章(11讲) ·分布式和传统单机模式 ·Hadoop背景和工作原理 ·Mapreduce工作原理剖析 ·第二代MR--YARN原理剖析 ·Cl ...
- CentOS系统下Hadoop 2.4.1集群安装配置（简易版）
安装配置 1.软件下载 JDK下载:jdk-7u65-linux-i586.tar.gz http://www.oracle.com/technetwork/java/javase/downloads ...
随机推荐
- UNIX高级环境编程（14）文件IO - O_DIRECT和O_SYNC详解 < 海棠花溪 >
春天来了,除了工作学习,大家也要注意锻炼身体,多出去运动运动. 上周末在元大都遗址公园海棠花溪拍的海棠花. 进入正题. O_DIRECT和O_SYNC是系统调用open的flag参数.通过指定o ...
- Pyqt5+python+ErIC6+QT designer
Eric6安装及配置 https://blog.csdn.net/weixin_41656968/article/details/80253012 Python3.6+PyQt5+Eric6.0环境配 ...
- 我的BRF+自学教程（一）：公式（formula）
Business Rule Framework Plus(业务规则框架,以下简称BRFplus或BRF+)是一个强大的工具, 它允许用户以直观的方式对规则建模,并在不同的应用程序中重用这些规则.通过它 ...
- Java程序设计教程（第2版）阅读总结
为了重新拣起对Java的回忆,只好又找了本基础书.由于成都高新图书馆的计算机书实在不多,只能找到这本了.简单读了下Java部分,总结如下: 优点:虽然本书也是作者编的而不是作者著的,但是可以看出作者编 ...
- C#基础知识之托管代码和非托管代码
什么是托管代码(managed code)? 托管代码(Managed Code)就是中间语言(IL)代码,在公共语言运行库(CLR)中运行.编译器把代码编译成中间语言,当方法被调用时,CLR把具体的 ...
- j旧学习
多态的动态绑定: 签名 方法名和参数列表 不同参数叫重载,覆盖父类签名叫覆盖 类加 final不可继承 方法加final不可覆盖 强制类型转换 (类型)对象 抽象类 只要有一个抽象方法就是抽象类, ...
- keepalived 安装篇-官方文档
官方安装文档 http://www.keepalived.org/doc/installing_keepalived.html Installing Keepalived Install keepal ...
- Angular 开发小妙招1：提交表单数据验证不通过，更改输入组件的样式
开发表单时,客户端数据完整性校验是必不可少的,在jquery 时代出现了无数的数据验证插件也很好用,开发Angular 应用时,angular 内置了一些常用的数据验证指令.今天要讲的不是这些指令如何 ...
- Java锁的种类以及辨析（二）：自旋锁的其他种类
作者:山鸡 锁作为并发共享数据,保证一致性的工具,在JAVA平台有多种实现(如 synchronized 和 ReentrantLock等等 ) .这些已经写好提供的锁为我们开发提供了便利,但是锁的具 ...
- Visual Studio Code 支持TensorFlow配置支持
首先选择解释器 选择TensorFlow版本的conda版本 (当然你如果是通过python单独安装的TensorFlow也可以) 编辑器输入代码,进行测试 import tensorflow as ...