1.1 超级用户

启动namenode服务的用户就是超级用户, 该用户的组是supergroup

1.2 文件权限管理

 

1.2.1 创建时的owner和group

文件或者目录被创建之时,服从BSD规则,owner是客户端进程的用户,group是父目录的group

1.2.2 访问权限说明

object r w x stick bit(restricted deletion flag)
file 读文件 写或者追加写文件   无效
directory 列出目录的内容 创建或者删除子文件或子目录 访问子文件或者子目录 阻止移动或者删除该目录内的文件或目录(超级用户,owner和group不会被stick bit阻止)
         

1.2.3 应用示例

  • 创建/input目录,用于接收外部写入的数据
    • input目录的group也是input,owner是lisa(超级用户),
    • 创建/input/dean目录,用于接收dean用户写入的数据, owner是dean用户,group用户允许写入数据
  • 创建目录
    $ hdfs dfs -mkdir -p /input/dean
    $ hdfs dfs -ls /
    Found 3 items
    drwxr-xr-x - lisa supergroup 0 2015-11-08 17:26 /input
    drwxr-xr-x - lisa supergroup 0 2015-09-28 15:21 /test
    drwxr-xr-x - lisa supergroup 0 2015-11-08 17:09 /tmp
    $ hdfs dfs -ls /input
    Found 1 items
    drwxr-xr-x - lisa supergroup 0 2015-11-08 17:26 /input/dean
    • 修改input目录的owner为lisa,group从supergroup改为input
    $ hdfs dfs -chown lisa:input /input
    $ hdfs dfs -ls /
    Found 3 items
    drwxr-xr-x - lisa input 0 2015-11-08 17:26 /input
    drwxr-xr-x - lisa supergroup 0 2015-09-28 15:21 /test
    drwxr-xr-x - lisa supergroup 0 2015-11-08 17:09 /tmp
    • 修改/input/dean目录的ower和group都为dean
    $ hdfs dfs -ls /input
    Found 1 item
    drwxrwxr-x - dean dean 0 2015-11-21 16:24 /input/dean

    注意,客户机上创建linux 用户dean,无需在namenode节点上创建该用户

  • 允许input group用户写入/input/qoros目录
    1. 先要设置目录权限,让input组用户都能读,写,执行该目录

      $ hdfs dfs -chmod -R g+w /input/qoros
    2. 然后在客户机上
      • 创建guoqiang帐号和组input
      useradd guoqiang
      groupadd input
      • 改guoqiang用户组为input
      usermod -g input guoqiang

      在namenode所在的服务器上添加相同的用户和组,这点很奇怪,如果不这么干写操作会被拒绝,这会造成麻烦,因为两个namenode节点都要这么干

      useradd guoqiang
      usermod -g input guoqiang
  • 取消其他用户的所有权限
    $ hdfs dfs -chmod -R o-r /input/dean
    $ hdfs dfs -ls /input
    Found 1 items
    drwxrwx--x - lisa supergroup 0 2015-11-08 17:26 /input/dean
    $ hdfs dfs -chmod -R o-x /input/dean
    $ hdfs dfs -ls /input
    Found 1 items
    drwxrwx--- - lisa supergroup 0 2015-11-08 17:26 /input/dean

1.3 POSIX ACLs(目前尚未使用)

为特定的用户和组提供细致粒度的权限管理, 而不只是owner,group。该功能默认关闭, 需要如下设置打开

dfs.namenode.acls.enabled true

具体配置实在hdfs-site.xml中

<property>
<name>dfs.permissions.enabled</name>
<value>true</value>
</property> <property>
<name>dfs.namenode.acls.enabled</name>
<value>true</value>
</property>

在core-site.xml设置用户组默认权限.

<property>
<name>fs.permissions.umask-mode</name>
<value>002</value>
</property>

HDFS权限的更多相关文章

  1. HDFS权限问题

    HDFS权限问题 Win下Eclipse提交hadoop程序出错:org.apache.hadoop.security.AccessControlException: Permission denie ...

  2. HDFS权限管理用户指南

    原文地址:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html 概述 用户身份 理解系统的实现 文件系统API变更 S ...

  3. HDFS概述(4)————HDFS权限

    概述 Hadoop分布式文件系统(HDFS)的权限模型与POSIX模型的文件和目录权限模型一致.每个文件和目录与所有者和组相关联.该文件或目录将权限划分为所有者的权限,作为该组成员的其他用户的权限.以 ...

  4. 更改HDFS权限

    hdfs dfs -chmod -R 755 / 之前执行过这条语句,但是总是提示: 15/05/21 08:10:18 WARN util.NativeCodeLoader: Unable to l ...

  5. HADOOP docker(九):hdfs权限

    1. 概述2. 用户身份标识3. 组映射4.关于权限的实现5.文件系统API的变更6.应用程序shell的变更7.超级用户8.ACLs9.ACL 文件系统API10.ACL命令11.参数配置12.总结 ...

  6. HDFS权限管理指南(HDFS Permissions Guide)

    综述 HDFS实现了一个类似POSIX模型的文件和文件夹权限管理模型.每一个文件盒文件夹都有一个所有者和一个组.文件或者文件夹可以通过权限区分是所有者还是组成员或是其他用户.对文件来说,r标示可以阅读 ...

  7. 【异常】hbase启动后hdfs文件权限目录不一致,导致Phoenix无法删除表结构

    1 异常信息 Received error when attempting to archive files ([class org.apache.hadoop.hbase.backup.HFileA ...

  8. HDFS 特殊权限位

    HDFS 特殊权限位 标签(空格分隔): Hadoop 之前对HDFS更或者说是对Linux中文件的权限没有进行一个完整的学习,只是知道有所有者.所属组和其它权限,具体到某个人的权限有读(r).写(w ...

  9. HDFS、Yarn、Hive…MRS中使用Ranger实现权限管理全栈式实践

    摘要:Ranger为组件提供基于PBAC的鉴权插件,供组件服务端运行,目前支持Ranger鉴权的组件有HDFS.Yarn.Hive.HBase.Kafka.Storm和Spark2x,后续会支持更多组 ...

随机推荐

  1. 在训练CNN时,loss稳定在log(类别数)

    参见知乎问题! https://www.zhihu.com/question/275774218 很多框架都会有一个问题,当卷积 weight NaN 之后,卷积的 output 会变成 NaN.然后 ...

  2. unity, 慎用DontDestroyOnLoad

    如果想让一个节点切换场景时不销毁,可以为它添加如下脚本: using UnityEngine;using System.Collections; public class dontDestroyOnL ...

  3. 关于ApplicationContext的初始化

    一.提倡的初始化方法:<1>在独立应用程序中,获取ApplicationContext:          AbstractApplicationContext context = new ...

  4. UIWebView加上safari风格前进后退按钮(转)

    今天在写程序内打开网页的功能,写工具条的时候发现系统图标里面竟然没有后退按钮,,由于我这个是静态库工程,不可能自己弄张图上去,不然使用本库的时候还得附上图片,经过一下午的搜索,终于找到个比较靠谱的,这 ...

  5. php 循环简写

    <?php class a{ public function news($news){ $articles = array(); foreach ($news as $key => $va ...

  6. python 字符串格式化 ( 百分号 & format )

    Python的字符串格式化有两种方式: 百分号方式.format方式 百分号的方式相对来说比较老,而format方式则是比较先进的方式,企图替换古老的方式,目前两者并存. ----百分号 tpl = ...

  7. Material design之Material Theme

    Material Theme提供了三方面的内容: 系统组件的颜色可以自定义更改 系统组件添加了触摸反馈动画效果 Activity切换动画效果 系统主题默认被定义在以下三个样式中: 使用Material ...

  8. windows文件打包命令

    copy /Y partition.bin /b + qcsblhd_cfgdata.bin /b + qcsbl.bin /b + oemsbl.bin /b + fat.amss.bin /b + ...

  9. docker搭建lnmp环境(问题,资料,命令)

    入门参考 http://www.runoob.com/docker/docker-install-nginx.html 十大常用命令玩转docker 1. #从官网拉取镜像 docker pull & ...

  10. SQL Server 日期格式化输出

    转自:http://hi.baidu.com/%BC%D1%C0%D6%B1%C8%BA%A3/blog/item/fdaf6c9525adfa0f7af480ec.html T-SQL Script ...