hadoop的目录结构介绍

解压缩hadoop

利用tar –zxvf把hadoop的jar包放到指定的目录下。

tar -zxvf /home/software/aa.tar.gz -C /home/zjx/pf

f:指定文件的名称

z:以gz结尾的文件就是用gzip压缩的结果。与gzip相对的就是gunzip，这个参数的作用就是用来调用gzip。

X:为解开的意思

Z:详细报告处理文件的信息

目录结构总图

[root@localhost hadoop-2.6.0]# ll

total 52

drwxr-xr-x. 2 20000 20000  4096 Nov 13 13:20 bin

drwxr-xr-x. 3 20000 20000  4096 Nov 13 13:20 etc

drwxr-xr-x. 2 20000 20000  4096 Nov 13 13:20 include

drwxr-xr-x. 3 20000 20000  4096 Nov 13 13:20 lib

drwxr-xr-x. 2 20000 20000  4096 Nov 13 13:20 libexec

-rw-r--r--. 1 20000 20000 15429 Nov 13 13:20 LICENSE.txt

-rw-r--r--. 1 20000 20000   101 Nov 13 13:20 NOTICE.txt

-rw-r--r--. 1 20000 20000  1366 Nov 13 13:20 README.txt

drwxr-xr-x. 2 20000 20000  4096 Nov 13 13:20 sbin

drwxr-xr-x. 4 20000 20000  4096 Nov 13 13:20 share

bin目录结构

[root@localhost hadoop-2.6.0]# cd bin

[root@localhost bin]# ll

total 440

-rwxr-xr-x. 1 20000 20000 159183 Nov 13 13:20 container-executor

-rwxr-xr-x. 1 20000 20000   5479 Nov 13 13:20 hadoop

-rwxr-xr-x. 1 20000 20000   8298 Nov 13 13:20 hadoop.cmd

-rwxr-xr-x. 1 20000 20000  11142 Nov 13 13:20 hdfs

-rwxr-xr-x. 1 20000 20000   6923 Nov 13 13:20 hdfs.cmd

-rwxr-xr-x. 1 20000 20000   5205 Nov 13 13:20 mapred

-rwxr-xr-x. 1 20000 20000   5949 Nov 13 13:20 mapred.cmd

-rwxr-xr-x. 1 20000 20000   1776 Nov 13 13:20 rcc

-rwxr-xr-x. 1 20000 20000 201659 Nov 13 13:20 test-container-executor

-rwxr-xr-x. 1 20000 20000  11380 Nov 13 13:20 yarn

-rwxr-xr-x. 1 20000 20000  10895 Nov 13 13:20 yarn.cmd

文件存放了hadoop，hdfs，mapred的命令，从cmd可以看出支持windows。

sbin的目录结构

[root@localhost hadoop-2.6.0]# cd sbin

[root@localhost sbin]# ll

total 120

-rwxr-xr-x. 1 20000 20000 2752 Nov 13 13:20 distribute-exclude.sh

-rwxr-xr-x. 1 20000 20000 6452 Nov 13 13:20 hadoop-daemon.sh

-rwxr-xr-x. 1 20000 20000 1360 Nov 13 13:20 hadoop-daemons.sh

-rwxr-xr-x. 1 20000 20000 1640 Nov 13 13:20 hdfs-config.cmd

-rwxr-xr-x. 1 20000 20000 1427 Nov 13 13:20 hdfs-config.sh

-rwxr-xr-x. 1 20000 20000 2291 Nov 13 13:20 httpfs.sh

-rwxr-xr-x. 1 20000 20000 2059 Nov 13 13:20 kms.sh

-rwxr-xr-x. 1 20000 20000 4080 Nov 13 13:20 mr-jobhistory-daemon.sh

-rwxr-xr-x. 1 20000 20000 1648 Nov 13 13:20 refresh-namenodes.sh

-rwxr-xr-x. 1 20000 20000 2145 Nov 13 13:20 slaves.sh

-rwxr-xr-x. 1 20000 20000 1779 Nov 13 13:20 start-all.cmd

-rwxr-xr-x. 1 20000 20000 1471 Nov 13 13:20 start-all.sh

-rwxr-xr-x. 1 20000 20000 1128 Nov 13 13:20 start-balancer.sh

-rwxr-xr-x. 1 20000 20000 1401 Nov 13 13:20 start-dfs.cmd

-rwxr-xr-x. 1 20000 20000 3705 Nov 13 13:20 start-dfs.sh

-rwxr-xr-x. 1 20000 20000 1357 Nov 13 13:20 start-secure-dns.sh

-rwxr-xr-x. 1 20000 20000 1571 Nov 13 13:20 start-yarn.cmd

-rwxr-xr-x. 1 20000 20000 1347 Nov 13 13:20 start-yarn.sh

-rwxr-xr-x. 1 20000 20000 1770 Nov 13 13:20 stop-all.cmd

-rwxr-xr-x. 1 20000 20000 1462 Nov 13 13:20 stop-all.sh

-rwxr-xr-x. 1 20000 20000 1179 Nov 13 13:20 stop-balancer.sh

-rwxr-xr-x. 1 20000 20000 1455 Nov 13 13:20 stop-dfs.cmd

-rwxr-xr-x. 1 20000 20000 3206 Nov 13 13:20 stop-dfs.sh

-rwxr-xr-x. 1 20000 20000 1340 Nov 13 13:20 stop-secure-dns.sh

-rwxr-xr-x. 1 20000 20000 1642 Nov 13 13:20 stop-yarn.cmd

-rwxr-xr-x. 1 20000 20000 1340 Nov 13 13:20 stop-yarn.sh

-rwxr-xr-x. 1 20000 20000 4295 Nov 13 13:20 yarn-daemon.sh

-rwxr-xr-x. 1 20000 20000 1353 Nov 13 13:20 yarn-daemons.sh

各种启动和停止的命令。

Hadoop配置文件所在目录

[root@localhost hadoop]# ll

total 152

-rw-r--r--. 1 20000 20000  4436 Nov 13 13:20 capacity-scheduler.xml

-rw-r--r--. 1 20000 20000  1335 Nov 13 13:20 configuration.xsl

-rw-r--r--. 1 20000 20000   318 Nov 13 13:20 container-executor.cfg

-rw-r--r--. 1 20000 20000   774 Nov 13 13:20 core-site.xml

-rw-r--r--. 1 20000 20000  3670 Nov 13 13:20 hadoop-env.cmd

-rw-r--r--. 1 20000 20000  4224 Nov 13 13:20 hadoop-env.sh

-rw-r--r--. 1 20000 20000  2598 Nov 13 13:20 hadoop-metrics2.properties

-rw-r--r--. 1 20000 20000  2490 Nov 13 13:20 hadoop-metrics.properties

-rw-r--r--. 1 20000 20000  9683 Nov 13 13:20 hadoop-policy.xml

-rw-r--r--. 1 20000 20000   775 Nov 13 13:20 hdfs-site.xml

-rw-r--r--. 1 20000 20000  1449 Nov 13 13:20 httpfs-env.sh

-rw-r--r--. 1 20000 20000  1657 Nov 13 13:20 httpfs-log4j.properties

-rw-r--r--. 1 20000 20000    21 Nov 13 13:20 httpfs-signature.secret

-rw-r--r--. 1 20000 20000   620 Nov 13 13:20 httpfs-site.xml

-rw-r--r--. 1 20000 20000  3523 Nov 13 13:20 kms-acls.xml

-rw-r--r--. 1 20000 20000  1325 Nov 13 13:20 kms-env.sh

-rw-r--r--. 1 20000 20000  1631 Nov 13 13:20 kms-log4j.properties

-rw-r--r--. 1 20000 20000  5511 Nov 13 13:20 kms-site.xml

-rw-r--r--. 1 20000 20000 11291 Nov 13 13:20 log4j.properties

-rw-r--r--. 1 20000 20000   938 Nov 13 13:20 mapred-env.cmd

-rw-r--r--. 1 20000 20000  1383 Nov 13 13:20 mapred-env.sh

-rw-r--r--. 1 20000 20000  4113 Nov 13 13:20 mapred-queues.xml.template

-rw-r--r--. 1 20000 20000   758 Nov 13 13:20 mapred-site.xml.template

-rw-r--r--. 1 20000 20000    10 Nov 13 13:20 slaves

-rw-r--r--. 1 20000 20000  2316 Nov 13 13:20 ssl-client.xml.example

-rw-r--r--. 1 20000 20000  2268 Nov 13 13:20 ssl-server.xml.example

-rw-r--r--. 1 20000 20000  2237 Nov 13 13:20 yarn-env.cmd

-rw-r--r--. 1 20000 20000  4567 Nov 13 13:20 yarn-env.sh

-rw-r--r--. 1 20000 20000   690 Nov 13 13:20 yarn-site.xml

[root@localhost hadoop]# pwd

/home/app/hadoop-2.6.0/etc/Hadoop   hadoop配置文件所在的路径

本地库路径

[root@localhost lib]# cd native/

[root@localhost native]# ll

total 4912

-rw-r--r--. 1 20000 20000 1380212 Nov 13 13:20 libhadoop.a

-rw-r--r--. 1 20000 20000 1634592 Nov 13 13:20 libhadooppipes.a

lrwxrwxrwx. 1 20000 20000      18 Feb 28 08:41 libhadoop.so -> libhadoop.so.1.0.0

-rwxr-xr-x. 1 20000 20000  805999 Nov 13 13:20 libhadoop.so.1.0.0

-rw-r--r--. 1 20000 20000  476666 Nov 13 13:20 libhadooputils.a

-rw-r--r--. 1 20000 20000  440498 Nov 13 13:20 libhdfs.a

lrwxrwxrwx. 1 20000 20000      16 Feb 28 08:41 libhdfs.so -> libhdfs.so.0.0.0

-rwxr-xr-x. 1 20000 20000  278622 Nov 13 13:20 libhdfs.so.0.0.0

[root@localhost native]# pwd

/home/app/hadoop-2.6.0/lib/native

Lib下的native为本地库，hadoop编译时需要的本地库，例如编译c++等。

jar包的目录

[root@localhost share]# cd hadoop/

[root@localhost hadoop]# ll

total 28

drwxr-xr-x. 6 20000 20000 4096 Nov 13 13:20 common

drwxr-xr-x. 7 20000 20000 4096 Nov 13 13:20 hdfs

drwxr-xr-x. 3 20000 20000 4096 Nov 13 13:20 httpfs

drwxr-xr-x. 3 20000 20000 4096 Nov 13 13:20 kms

drwxr-xr-x. 5 20000 20000 4096 Nov 13 13:20 mapreduce

drwxr-xr-x. 5 20000 20000 4096 Nov 13 13:20 tools

drwxr-xr-x. 5 20000 20000 4096 Nov 13 13:20 yarn

[root@localhost hadoop]# pwd

/home/app/hadoop-2.6.0/share/Hadoop

Hadoop的目录下有hdfs文件夹，该文件夹下面是支持hdfs运行的jar包

[root@localhost hadoop]# cd hdfs

[root@localhost hdfs]# ll

total 10716

-rw-r--r--. 1 20000 20000 7822669 Nov 13 13:20 hadoop-hdfs-2.6.0.jar

-rw-r--r--. 1 20000 20000 3029378 Nov 13 13:20 hadoop-hdfs-2.6.0-tests.jar

-rw-r--r--. 1 20000 20000   95211 Nov 13 13:20 hadoop-hdfs-nfs-2.6.0.jar

drwxr-xr-x. 2 20000 20000    4096 Nov 13 13:20 jdiff

drwxr-xr-x. 2 20000 20000    4096 Nov 13 13:20 lib

drwxr-xr-x. 2 20000 20000    4096 Nov 13 13:20 sources

drwxr-xr-x. 2 20000 20000    4096 Nov 13 13:20 templates

drwxr-xr-x. 7 20000 20000    4096 Nov 13 13:20 webapps

hadoop的目录结构介绍的更多相关文章

  1. Magento学习第一课——目录结构介绍

    Magento学习第一课--目录结构介绍 一．Magento为何强大 Magento是在Zend框架基础上建立起来的,这点保证了代码的安全性及稳定性.选择Zend的原因有很多,但是最基本的是因为zen ...

  2. vue学习笔记（三）——目录结构介绍

    1.初始目录结构如下: 2.目录结构介绍 目录/文件 说明 build 最终发布的代码存放位置. config 配置目录,包括端口号等.我们初学可以使用默认的. node_modules npm 加载 ...

  3. Vue 入门之目录结构介绍

    Vue 是一套用于构建用户界面的渐进式框架,与其它大型的页面框架不同的是,Vue 被设计为可以自底向上逐层应用.Vue 的核心库只关注视图层,不仅易于上手,还便于与第三方库或既有项目整合.另一方面,当 ...

  4. create-react-app脚手架的安装和目录结构介绍

    1.对脚手架的初步了解 编程领域中的“脚手架”指的是能够快速搭建项目“骨架”的一类工具,例如大多数的React项目都有src,public,webpack配置文件等等,而src目录中又包含compon ...

  5. （3.1）mysql基础深入——mysql二进制与源码目录结构介绍

    (3.1)mysql基础深入——mysql二进制与源码目录结构介绍 关键字:二进制目录结构,源码目录结构(编译安装目录结构) 1.二进制安装程序目录结构 [1] BIN -- mysql的可执行文件( ...

  6. vue 目录结构介绍

    1 初始目录如下: 2 目录结构介绍 bulid:最终帆布的代码存放位置 config:配置目录,包括端口号等 node_modules:npm加载的项目依赖模块 src:z这里是我们要开发的目录,基 ...

  7. Flutter 目录结构介绍、入口、自定义 Widget、MaterialApp 组件、Scaffold 组件

    Flutter 目录结构介绍 文件夹 作用 android android 平台相关代码 ios ios 平台相关代码 lib flutter 相关代码,我们主要编写的代 码就在这个文件夹 test ...

  8. Django 创建 APP和目录结构介绍

    一.通过pip安装Django 以windows 系统中使用pip命令安装为例 win+r,调出cmd,运行命令:pip install django自动安装PyPi 提供的最新版本.指定版本,可使用 ...

  9. epub电子书--目录结构介绍

    epub电子书简介 epub全称为Electronic Publication的缩写,意为:电子出版, epub于2007年9月成为国际数位出版论坛(IDPF)的正式标准,以取代旧的开放Open eB ...

随机推荐

  1. JS单线程和异步

    线程和单线程的概念: 线程:是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位.一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同 ...

  2. Java 实现在固定区间内随机生成整数

    1.random.nextInt(num) public static void main(String args[]) { Random rdom = new Random(); int max = ...

  3. yii ActiveRecord

    在活动记录里自定义属性(数据表里没有的属性), 起初没有注意到问题. 在这个继承了activeRecord的模型中, 还自定义了很多方法,  此为前提.  出现的问题是: 使用属性获取不到数据库的字段 ...

  4. P4981 父子 Cayley公式

    CayleyCayley公式的定义是这样的,对于n个不同的节点,能够组成的无根树(原来是无向连通图或者是有标志节点的树)的种数是n^(n-2)种.(这里让大家好理解一点,就写成了无根树,其实应该是一样 ...

  5. 数据结构图之三（最短路径--迪杰斯特拉算法——转载自i=i++

    数据结构图之三(最短路径--迪杰斯特拉算法)   [1]最短路径 最短路径?别乱想哈,其实就是字面意思,一个带边值的图中从某一个顶点到另外一个顶点的最短路径. 官方定义:对于内网图而言,最短路径是指两 ...

  6. Vue_(组件通讯)组件

    Vue组件 传送门 组件Component,可扩展HTML元素,封装可重用的代码.通俗的来说,组件将可重用的HTML元素封装成为标签方便复用: 组件的使用: 使用全局方法Vue.extend创建构造器 ...

  7. [CSP-S模拟测试]:地理课（并查集+线段树分治）

    题目传送门(内部题146) 输入格式 从$geography.in$读入数据. 第一行两个数$n,m$,表示有$n$个点,$m$个时刻.接下来$m$行每行三个数,要么是$1\ u\ v$,要么是$2\ ...

  8. linux shell 之流程控制 if if else while

    (1)流程控制不可以为空: (2)if [ $(ps -ef | grep -c "ssh") -gt 1 ]; then echo "true"; fi 条件 ...

  9. mongoRepository 支持的所有接口

    与HibernateRepository类似,通过继承MongoRepository接口,我们可以非常方便地实现对一个对象的增删改查,要使用Repository的功能,先继承MongoReposito ...

  10. 使用root配置的hadoop启动时报错

    一.报错信息: Starting namenodes on [master]         ERROR: Attempting to operate on hdfs namenode as root ...