查看文件;
[root@hadoop hadoop]# hadoop fs -lsr /
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoop
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoop/tmp
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoop/tmp/mapred
drwx------ - root supergroup 0 2016-12-27 10:49 /home/hadoop/tmp/mapred/system
-rw------- 1 root supergroup 4 2016-12-27 10:49 /home/hadoop/tmp/mapred/system/jobtracker.info
[root@hadoop hadoop]# hadoop fs -ls /
Found 1 items
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home
[root@hadoop hadoop]#

HDFS
HDFS 的web 接口访问
http://hadoop:50070
可以查看 namenode 状态;
http://hadoop:50075
可以查看 datanode 状态;

活动方式 体系结构
分布式文件管理系统 HDFS 一次写入 多次查询 不支持并发写/ 小文件不合适
容错 节点脱机 仍可以运作 (因为是多台节点 、分布式系统不会宕 数据不确定)
多机器多用户分享文件 和存储空间;
通透性 通过网络访问文件动作 由程序和用户访问;

hdsf 操作语法:操作方式 hadoop fs xxx
hadoop fs -ls hdfs://hadoop:9000/
### *** 查找目录
查询目录结构 :hadop fs -ls / 根目录
[root@hadoop ~]# hadoop fs -lsr /
Warning: $HADOOP_HOME is deprecated.
类别权限 副本 用户 组 大小
drwxr-xr-x - root supergroup 0 2016-12-12 14:04 /home
drwxr-xr-x - root supergroup 0 2016-12-12 14:04 /home/hadoop
drwxr-xr-x - root supergroup 0 2016-12-12 14:04 /home/hadoop/tmp
drwxr-xr-x - root supergroup 0 2016-12-12 14:39 /home/hadoop/tmp/mapred
drwx------ - root supergroup 0 2016-12-12 14:39 /home/hadoop/tmp/mapred/system
-rw------- 1 root supergroup 4 2016-12-12 14:39 /home/hadoop/tmp/mapred/system/jobtracker.info
[root@hadoop ~]#
-- ( 上面文件的 "1" 表示副本;而文件夹没有 、文件只是组织管理 。 )

创建文件 hadoop fs mkdir /

HDFS 主要是用于 上传数据 部署FTP 服务器上传文件;一次写多次读
(默认 不能重复;上传时目录不存在时 如果上传文件的目的目录不存在时则上传文件默认为目录名)

hadoop fs -text <hdfs > 查看文件内容
配置文件
hadoop 环境变量脚本
hadoop-env.sh

hadoop 核心配置文件
core-site.xml 配置hadoop 的运行临时文件的主目录 和 HDFS 的访问路径
fs.default.name

hdfs 核心配置文件 可以配置副本集数
hdfs-site.xml 存储的副本数

MapReduce 的配置文件
mapred-site.xml Jobtracker 的访问路径;

(源数据在运行时 是放在内存中)
*/tmp/dfs/name/in_use.lock 表示这个目录已经被 namenode 使用;
*/tmp/dfs/name/current namenode 写入文件;
HA 解决方案 冷备份;不支持热备
从 namenode 上下载元数据信息(fsimage、edits) 然后把二者合并生成新的fsimage;保存本地 并将其推送到namenode上;重置namenode和edits

Datanode 提供真实数据的存储服务
文件块 block 最基础的存储单位
HDFS 默认block大小是64M ,以一个256M文件 共有256/64=4个block
# stat / 和windows 系统文件 簇的一样是存储单位;(但当不到一个block大小,就会占用文件实际大小 )
.meta 校验文件;
-rw-r--r-- 1 root root 4 Dec 12 16:10 blk_1423469742724759577
-rw-r--r-- 1 root root 11 Dec 12 16:10 blk_1423469742724759577_1025.meta

hdfs 根目录: hadoop fs -ls/
文件block块的 位置设置文件主目录;
我默认设置的 /home/hadoop/tmp/dfs/data/current
" SQL 文件结构化数据 "

默认是3个副本 ;副本越多越好 但是 占用磁盘控件 ;

使用Java 操作hadoop 操作的是 fileSystem

单一节点namenode 备份block 文件  也会有一部分数据丢失 ;有一个是高可用行 HA

3、RPC (remote procedure call)
不同Java进程间的对象方法的调用 (不同Java进程间的对象调用;)
一方称作服务端 server 一方称作客户端 client (CS 模式)
server 端提供对象 供客户端调用 、被调用的对象的方法的执行发生在server 端;
RPC 是hadoop 框架运行的基础。运行在框架之上的 ;

hadoop - 基础操作的更多相关文章

  1. 实训任务02:Hadoop基础操作

    实训任务02:Hadoop基础操作 班级            学号               姓名 实训1:创建测试文件上传HDFS,并显示内容 需求说明: 在本地计算机上创建测试文件helloH ...

  2. 指导手册03:Hadoop基础操作

    指导手册03:Hadoop基础操作 Part 1:查看Hadoop集群的基本信息1.查询存储系统信息(1)在WEB浏览器的地址栏输入http://master:50070/ 请查看自己的Hadoop集 ...

  3. hadoop基础操作

    通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计,结果 ...

  4. Hadoop基础-通过IO流操作HDFS

    Hadoop基础-通过IO流操作HDFS 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.上传文件 /* @author :yinzhengjie Blog:http://www ...

  5. Hadoop基础-HDFS的API常见操作

    Hadoop基础-HDFS的API常见操作 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本文主要是记录一写我在学习HDFS时的一些琐碎的学习笔记, 方便自己以后查看.在调用API ...

  6. Hadoop基础-MapReduce的Join操作

    Hadoop基础-MapReduce的Join操作 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.连接操作Map端Join(适合处理小表+大表的情况) no001 no002 ...

  7. [转]《Hadoop基础教程》之初识Hadoop

    原文地址:http://blessht.iteye.com/blog/2095675 Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不 ...

  8. 《Hadoop基础教程》之初识Hadoop

    Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身. <Hadoop基础教程> ...

  9. [转载] 《Hadoop基础教程》之初识Hadoop

    转载自http://blessht.iteye.com/blog/2095675 Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用 ...

随机推荐

  1. matplotlib绘图pie

    #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/5/28 16:05 # @Author : zhang chao # @Fi ...

  2. BZOJ3569 DZY Loves Chinese II(随机化+树上差分+线性基)

    上一题的强制在线版.对图跑出一个dfs树,给非树边赋上随机权值,树边的权值为覆盖他的非树边权值的异或.这样如果某条树边和覆盖他的非树边都被割掉(即图不连通),他们的异或值就为0.每次对询问看有没有子集 ...

  3. P2707 Facer帮父亲

    题目背景 Facer可是一个孝顺的孩纸呦 题目描述 Facer的父亲是一名经理,现在总是垂头丧气的. Facer问父亲,怎么啦?父亲说,公司出了点问题啊. 公司管理着N个风景点,每个风景点都有不少人来 ...

  4. Spring IOC和Spring AOP的实现原理(源码主线流程)

    写在前面 正本文参考了<spring技术内幕>和spring 4.0.5源码.本文只描述原理流程的主线部分,其他比如验证,缓存什么可以具体参考源码理解. Spring IOC 一.容器初始 ...

  5. java强引用,软引用,弱引用,虚引用

    java强引用,软引用,弱引用,虚引用 原文:https://blog.csdn.net/liaodehong/article/details/52223354 用了Java怎么长时间一直不知道原来J ...

  6. 【刷题】LOJ 2863 「IOI2018」组合动作

    题目描述 你在玩一个动作游戏.游戏控制器有 \(4\) 个按键,A.B.X 和 Y.在游戏中,你用组合动作来赚金币.你可以依次按这些按键来完成一个组合动作. 这个游戏有一个隐藏的按键序列,可以表示为由 ...

  7. pdo连接的时候设置字符编码是这样的

    $pdo = new \PDO(..,..,..) $pdo->query('SET NAMES utf8mb4'); $pdo->exex('sql....');

  8. 07 zabbix之map拓扑标签中macro应用

    zabbix之map拓扑标签中macro应用 请先预习网地图map : 请点击 macro官方文档介绍 : 请点击 1.  Map labels(拓扑图标签)主要注意以下Macros(宏):  MAC ...

  9. Canvas与javaScript特效笔记

    第六章   Canvas与javaScript特效笔记 q  <canvas>标签的用途 HTML5 canvas 提供了通过 JavaScript 绘制图形的方法,此方法使用简单但功能强 ...

  10. NOIP2013题解

    NOIP2013题解 Day1 转圈游戏 circle 快速幂模板题. #include<iostream> using namespace std; int n,m,k,x; int f ...