2015.07.12笔记

1.HDFS

Distributed File System(操作系统实现人机交互,最重要的功能是文件管理,使用文件管理系统,windows、Linux文件管理系统有共性:用户可创建文件/夹,删除,修改权限,修改源数据信息(创建、修改、访问时间等)。在操作系统中的文件或者数据的管理是通过文件系统实现的,文件系统是操作系统实现文件管理的一个重要的组成部分,操作系统将文件放置到硬件(硬盘,服务器能有一万多兆)当中进行管理。在服务器中,数据的储存管理是通过我们写的程序进行管理,当数据量多时,可在硬盘插槽增加硬盘(6个插槽),可分散到多个系统上,用户不需知道文件存储在哪个IP上(如www.Baidu.com域名对应到多台服务器)DFS分布式文件系统是数据分布在很多个文件系统,而DFS对应的是一个操作系统()数据量多,用户操作不方便,DFS分布式文件系统凌驾在操作系统所辖的文件管理系统中)

数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。

是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。

通透性。让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般。

容错。即使系统中有某些节点脱机,整体来说系统仍然可以持续运作而不会有数据损失。

分布式文件管理系统很多,hdfs只是其中一种,不合适小文件(通过一定的策略将小文件变成大文件)。实现文件管理

 

HDFS的Shell(hdfs存储的都是大数据,shell是Linux操作系统的组成部分,hdfs属于hadoop软件的组成部分,在shell中使用特定命令调用hdfs接口中的命令)(ls蓝色字体是文件夹,绿色是文件)

调用文件系统(FS)Shell命令应使用 bin/hdfs dfs xxx 的形式。

所有的FS shell命令使用URI路径作为参数。

 URI格式是scheme://authority/path。HDFS的scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。

 例如:/parent/child可以表示成hdfs://namenode:namenodePort/parent/child,或者更简单的/parent/child(假设配置文件是namenode:namenodePort)

大多数FS Shell命令的行为和对应的Unix Shell命令类似。

安装好(绿色文件是用于批量启动hadoop写的文件(照着写))

2.apache hadoop目录结构

(查看的脚本文件)(在java线程概念里面的方法set daemon给它传个true就可以让其变成精灵进程,精灵进程不停跑

查看进程

 

bin sbin 很重要(bin,系统操作命令,存放的都是命令脚本有两类.cmd是在windows下面的命令;sbin系统维护运营)

share(通过路径加载jar包)

 

logs 文件(学会看日志,分析日志,log历史日志,out是当前日志)

通过hdfs操作

hdfs 用法(中括号表示可选,安装hadoop改的配置文件可单独放到单独的文件夹中--config confir适用于很多变化的环境,工作环境使用的是默认目录下的配置文件)空格加command

 

dfs是在被支持的文件系统支持下运行一个文件系统的命令,可参考Linux命令

 

3.HDFS dfs命令

可见文档

注意点:启动进程的用户是super user,可以做任何事情

 

 

在版本2中(脚本没改才提示),不用关心

Hadoop1下使用的是hadoop,(hadoop2版本)dfs,执行结果一样

 

查看目录结构

 

bin/hdfs dfs -ls hdfs://192.168.80.100:9000/

-ls 后面跟的是hdfs访问路径(在配置文件中设置过,可跟主机名(执行hostname查看,端口9000是之前etc/Hadoop/core-site.xml文件配置的)或IP,9000后面的斜杠表示hdfs的根目录)(访问互联网必须通过通过协议http https ftp )

 

ls命令来自于

在配置etc/Hadoop/core-site.xml文件中设置过hdfs的访问路径

 

文件系统需组织结构,Linux是树状结构,hdfs的根目录(跟Linux不一样)


 

64位机装32位hadoop会出现警告信息(学习没影响,企业使用64位,32位的对内存大小有限制,软件最好通过源码编译成64位)可以通过源码编译hadoop

操作系统64位,hadoop是32位会提示错误

 

非常像Linux文件结构

4.常见HDFS命令

-表示没有副本数,最后一次访问时间

大小单位是字节(目录本身而言不含有数据,所以大小为0),后面是绝对路径(如何知道这些信息)

 

 

指的是文件夹

一级一级查看麻烦

 

注意是—R(Recursively递归使用大写)

-d(普通格式输出)

 

 

-h(默认是字节,加上后根据大小显示单位k,M)

 

简写,去掉hdfs://192.168.80.100:9000(运行时被运行环境补充上了,它是要找本地中是否有hdfs的配置文件,如果有就将里面特定的值给补充上fs.defaultFS)

 

 

 

通过执行命令区分

 

 

误以为是Linux(缺少目的地文件)

-cat

文件系统就是原封不动存取数据,mysql是文件管理系统,

-put

-cp(从hdfs到hdfs)

-copyToFile)(hdfs拷贝到Linux)

-chmod

chmod 777

 

用户/所在者,所在组,其他人(常用的权限是文件夹,默认创建文件)

 

 

 

ls什么都不跟默认/user/root

在hdfs下没有目录

currentUser的目录

 

 

 


 

HDFS入门(1)的更多相关文章

  1. HDFS入门

    HDFS入门 欢迎关注我的个人博客:http://www.cnblogs.com/yjd_hycf_space 更多大数据以及编程相关的精彩文章 为什么我们需要HDFS 文件系统由三部分组成:与文件管 ...

  2. 【Hadoop离线基础总结】HDFS入门介绍

    HDFS入门介绍 概述 HDFS全称为Hadoop Distribute File System,也就是Hadoop分布式文件系统,是Hadoop的核心组件之一. 分布式文件系统是横跨在多台计算机上的 ...

  3. 《OD大数据实战》HDFS入门实例

    一.环境搭建 1.  下载安装配置 <OD大数据实战>Hadoop伪分布式环境搭建 2. Hadoop配置信息 1)${HADOOP_HOME}/libexec:存储hadoop的默认环境 ...

  4. HDFS入门详解

    一. 前提和设计目标 1. 硬件错误是常态,因此需要冗余,这是深入到HDFS骨头里面去了 HDFS可能由成百上千的服务器所构成,每个服务器上存储着文件系统的部分数据.我们面对的现实是构成系统的组件数目 ...

  5. HDFS 入门介绍

    HDFS简介 HDFS(Hadoop Distributed File System,Hadoop分布式文件系统),它是一个高度容错性的系统,适合部署在廉价的机器上.HDFS能提供高吞吐量的数据访问, ...

  6. Hadoop之HDFS(一)HDFS入门及基本Shell命令操作

    1 . HDFS 基本概念 1.1  HDFS 介绍 HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统.是 Hadoop 核心组件之 ...

  7. 大数据学习(02)——HDFS入门

    Hadoop模块 提到大数据,Hadoop是一个绕不开的话题,我们来看看Hadoop本身包含哪些模块. Common是基础模块,这个是必须用的.剩下常用的就是HDFS和YARN. MapReduce现 ...

  8. HDFS基础1

    一.HDFS入门 二.HDFS基本操作 1.shell命令行客户端 Hadoop提供了文件系统的shell命令行客户端,使用方法如下: Hadoop fs <args>(参数哪一个文件系统 ...

  9. Hadoop_HDFS_02

    1. HDFS入门 1.1 HDFS基本概念 HDFS是Hadoop Distribute File System的简称, 意为: Hadoop分布式文件系统. 是Hadoop三大核心组件之一, 作为 ...

随机推荐

  1. 集成支付宝-iOS

    前言 坑坑坑,把踩过的坑都要记下来!! 正文 1.支付宝的demo和文档都好难找啊@_@,像我这个记忆不太好的,第二次都找不到!!为了方便大家,还是直接给大家网址吧,(不要太感谢我喔~)https:/ ...

  2. java 多线程安全问题-同步代码块

    /* 多线程的安全问题: while(true) { if(tick>0) { //线程0,1,2,3在余票为1时,都停滞在这里,之后分别获得CPU执行权,打印出0,-1,-2等错票 Syste ...

  3. Asp.net mvc 知多少(七)

    本系列主要翻译自<ASP.NET MVC Interview Questions and Answers >- By Shailendra Chauhan,想看英文原版的可访问http:/ ...

  4. 微信公众号平台接口开发:基础支持,获取access_token

    新建Asp.net MVC 4.0项目 WeChatSubscript是项目UI层 WeChatTools是封装操作访问公众号接口的一些方法类库 获取AccssToken 我们要的得到AccessTo ...

  5. [Kafka] - Kafka基本概念介绍

    Kafka官方介绍:Kafka是一个分布式的流处理平台(0.10.x版本),在kafka0.8.x版本的时候,kafka主要是作为一个分布式的.可分区的.具有副本数的日志服务系统(Kafka™ is ...

  6. [MongoDB] - Shell基本命令

    在这里,我简单的记录一下MongoDB在shell客户端中使用的基本命令,比如创建/显示数据库,创建集合,删除集合等. 一.启动MongoDB并连接shell客户端 使用mongod.exe和mong ...

  7. GET和POST的区别,何时使用POST?

     GET:一般用于信息获取,使用URL传递参数,对所发送信息的数量也有限制,一般在2000个字符     POST:一般用于修改服务器上的资源,对所发送的信息没有限制.     GET方式需要使用Re ...

  8. ajax面试汇总

    Ajax系列面试题总结: 1.Ajax 是什么? 如何创建一个Ajax? Ajax并不算是一种新的技术,全称是asychronous javascript and xml,可以说是已有技术的组合,主要 ...

  9. 1305 Pairwise Sum and Divide

    1305 Pairwise Sum and Divide 题目来源: HackerRank 基准时间限制:1 秒 空间限制:131072 KB 分值: 5 难度:1级算法题 有这样一段程序,fun会对 ...

  10. JavaScript内置对象-Object

    ▓▓▓▓▓▓ 大致介绍 JavaScript的简单数据类型包括:Undefined.Null.Boolean.Number.String.JavaScript中这五种基本数据类型不是对象,其他所有值都 ...