CLI MiniCluster

Use the climonicluster, users can simply start and stop a single-node hadoop cluster witha single command, and without the need to set any environment variables ormanage configuration files. The cli monicluster starts both a mapreduce and hdfclusters. This is useful cases where users want to quickly experiment with areal hadoop cluyster or test non-java programs that rely on significant hadoopfunctionality.

From inside theroot directory of the extracted tarball, you can tsrat the cli miniclusterusing the following command:

$ bin/hadoop jarhadoop-test-*.jar minicluster -jtport JT_PORT -nnport NN_PORT

In the example command above,JT_PORT and NN_PORT should be replaced by the user's choice of these portnumbers. If not specified, random free ports will be used.

$ bin/hadoop jarhadoop-test-*.jar minicluster -jtport JT_PORT -nnport NN_PORT

Unknown program'minicluster' chosen.

Valid program namesare:

DFSCIOTest: Distributed i/o benchmark oflibhdfs.

DistributedFSCheck: Distributed checkup ofthe file system consistency.

MRReliabilityTest: A program that tests thereliability of the MR framework by injecting faults/failures

TestDFSIO: Distributed i/o benchmark.

dfsthroughput: measure hdfs throughput

filebench: BenchmarkSequenceFile(Input|Output)Format (block,record compressed and uncompressed),Text(Input|Output)Format (compressed and uncompressed)

loadgen: Generic map/reduce load generator

mapredtest: A map/reduce test check.

mrbench: A map/reduce benchmark that cancreate many small jobs

nnbench: A benchmark that stresses thenamenode.

testarrayfile: A test for flat files ofbinary key/value pairs.

testbigmapoutput: A map/reduce program thatworks on a very big non-splittable file and does identity map/reduce

testfilesystem: A test for FileSystemread/write.

testipc: A test for ipc.

testmapredsort: A map/reduce program thatvalidates the map-reduce framework's sort.

testrpc: A test for rpc.

testsequencefile: A test for flat files ofbinary key value pairs.

testsequencefileinputformat: A test forsequence file input format.

testsetfile: A test for flat files of binarykey/value pairs.

testtextinputformat: A test for text inputformat.

threadedmapbench: A map/reduce benchmark thatcompares the performance of maps with multiple spills over maps with 1 spill

Hadoop CLI MiniCluster的更多相关文章

  1. Hadoop-2.2.0中文文档—— Common - CLI MiniCluster

    目的 使用 CLI MiniCluster, 用户能够简单地仅仅用一个命令就启动或关闭一个单一节点的Hadoop集群,不须要设置不论什么环境变量或管理配置文件. CLI MiniCluster 同一时 ...

  2. Hadoop 2.x从零基础到挑战百万年薪第一季

    鉴于目前大数据Hadoop 2.x被企业广泛使用,在实际的企业项目中需要更加深入的灵活运用,并且Hadoop 2.x是大数据平台处理 的框架的基石,尤其在海量数据的存储HDFS.分布式资源管理和任务调 ...

  3. （转）单机上配置hadoop

    哈哈,几天连续收到百度两次电话,均是利好消息,于是乎不知不觉的自己的工作效率也提高了,几天折腾了好久终于在单机上配置好了hadoop,然后也成功的运行了一个用例,耶耶耶耶耶耶. 转自:http://w ...

  4. [大牛翻译系列]Hadoop（8）MapReduce 性能调优：性能测量（Measuring）

    6.1 测量MapReduce和环境的性能指标 性能调优的基础系统的性能指标和实验数据.依据这些指标和数据,才能找到系统的性能瓶颈.性能指标和实验数据要通过一系列的工具和过程才能得到. 这部分里,将介 ...

  5. C#码农的大数据之路 - 使用C#编写MR作业

    系列目录 写在前面 从Hadoop出现至今,大数据几乎就是Java平台专属一般.虽然Hadoop或Spark也提供了接口可以与其他语言一起使用,但作为基于JVM运行的框架,Java系语言有着天生优势. ...

  6. 从零自学Hadoop(18)：Hive的CLI和JDBC

    阅读目录 序 Hive CLI(old CLI) Beeline CLI(new CLI) JDBC Demo下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出 ...

  7. Hadoop 2.7.1 使用minicluster进行单元测试

    目的是要跑通这个单元测试:hadoop-hdfs/src/test/java/org/apache/hadoop/hdfs/TestClose.java 这个Java文件比较简单: /** * Lic ...

  8. hadoop hive组件介绍及常用cli命令

    Hive架构图 Hive产生原因 1 关系型数据库以产生多年sql成熟 2 简化开发降低成本 3 java成员可编写udf函数 Hive是什么 Hive是基于hadoop的一个数据库工具,使用Hql作 ...

  9. Hadoop Hive概念学习系列之hive里的扩展接口（CLI、Beeline、JDBC）（十六）

    <Spark最佳实战  陈欢>写的这本书,关于此知识点,非常好,在94页. hive里的扩展接口,主要包括CLI(控制命令行接口).Beeline和JDBC等方式访问Hive. CLI和B ...

随机推荐

  1. hdu 2202 最大三角形_凸包模板

    题意:略 思路:直接套用凸包模板 #include <iostream> #include <cstdio> #include <cmath> #include & ...

  2. initial pointer [expert c]

    initial differece between pointer and array Both arrays and pointers can be initialized with a liter ...

  3. cocos2d-x绑定ccb文件

    首先,ccb文件是如何生成的,我就不多说了,大家可以搜下cocosbuilder,就能找的相关的教程,而通过cocosbuilder,我们可以省去了很多设计的麻烦,比如设计一个精灵的位置啥的,而通过c ...

  4. Android应用程序窗口（Activity）的测量（Measure）、布局（Layout）和绘制（Draw）过程分析

    文章转载至CSDN社区罗升阳的安卓之旅,原文地址:http://blog.csdn.net/luoshengyang/article/details/8372924 在前面一篇文章中,我们分析了And ...

  5. visual studio 2010 C语言声明异常

    如下这段程序,是C_Primer_plus_第五版内的一个复习题答案(感觉声明i的值有问题),在GCC上面可以运行,但是移植到VS2010就一堆错误, #include<stdio.h> ...

  6. 获取系统的IP

    如何获取Linux系统的ip.当时一直用这种方法获取IP的. ifconfig|grep 'Bcast'|awk -F ':' '{print $2}'|awk '{print $1}' 今天偶然发现 ...

  7. android实现透明和半透明效果

    从透明到半透明时一个值的变化过程. #00000000(全透明)——#e0000000(半透明) 如果觉得半透明的效果太暗淡.可以设置成#60000000,#80000000,#a0000000等等

  8. 转：C#整数三种强制类型转换int、Convert.ToInt32（）、int.Parse()的区别

    1.int适合简单数据类型之间的转换,C#的默认整型是int32(不支持bool型); 2.int.Parse(string sParameter)是个构造函数,参数类型只支持string类型; 3. ...

  9. C#中WinForm程序退出方法技巧总结

    C#中WinForm程序退出方法技巧总结 一.关闭窗体 在c#中退出WinForm程序包括有很多方法,如:this.Close(); Application.Exit();Application.Ex ...

  10. 异常 java.lang.NumberFormatException： For input string：

    今天在写项目时,将String类型转换为Integer类型爆出此异常,记录如下: 代码如下: 1 String a = "2222222222"; //10个2 Integer b ...