此文翻译自http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html 译注:实际部署中,没有安全控制的hadoop的,最好不要使用,因为可能很多心血会毁于一旦. 概览 HDFS实现了文件和目录的权限模型,这个模式实现了POSIX的许多内容.每个文件或者目录都和一个用户和组关联.对属主,组中其它用户,和其它用户具有分开的权限.文件需要r/w用于读和写.目录使用r/w来列

本文主要翻译自http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SecureMode.html 译注:之所以不翻译为安全模式,是因为namenode启动的时候有个safemode,如果都翻译为安全模式,会有混淆的顾虑. 从重要程度看,本文所阐述的内容,无疑相当高. 但从配置上看,kerberos的配置,可谓hadoop集群搭建中最为繁琐,麻烦的部分. 引入一个kerberos认证,需要额外搭建一个kerb

在正式环境中,搭建高可靠(ha)的系统是必须的. 例如oralce的rac,apache集群,windows服务器集群 本文不再赘言ha的重要性. 本文主要是对 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Administrative_commands 的翻译,外加一些其它参考和个人的感悟. ---原文相当长 译注:ha-high ava

本文翻译自:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html 基于2.8.0文档 1.目的 本文可以作为以下人员的入门指引:使用hdfs的用户,或者仅仅使用分布式文件系统的用户.虽然hdfs设计的目的是在多个环境中可以用,但关于Hdfs的工作原理还是很有助于配置和诊断特定集群. 2.概述 HDFS是Hadoop应用的主要分布式存储.一个hDFS集群主要包含一个名称节点(管

本文主要参考 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 主要内容是对该文章的翻译,部分内容参考其他的网络文章. 1.简介 hadoop分布式文件系统(HDFS)是一个分布式文件系统,运行于普通的硬件之上(例如pc或者廉价刀片服务器).HDFS和现有的分布式文件系统有许多相似之处.然而,不同之处也是很明显的. HDFS是高容错,并用于部署在低成本的硬件之上.HDFS为应用

本人翻译自: http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/ServiceLevelAuth.html 译注:相对于kerberos等等而言,这个显得简单得多,但作用也不小.在无法知道用户密码或者无法接近主机的前提下,一个程序或者人是无法访问特定服务的. 但在实际应用中,可能主要控制对客户端的访问. 1.目的 描述如何配置和管理服务级别授权 2.要求 要求hadoop已经正确安装,并可用. 3.概览

本文主要参考 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/RackAwareness.html hadoop组件是机栈敏感(译注rack,机栈,可以简单理解为节点的摆放). 例如,HDFS块的分布会利用机栈敏感来做容错,方式是把复制放在不同的机栈.这样即便网络切换导致故障或者其它断开导致的故障,也会有一些数据是可用的. 译注:在重要的系统中,还有完全有必要考虑这个的,网络设备也会出现故障,毕竟这些网

在Dubbo+zookeeper构建高可用分布式集群(一)-单机部署中我们讲了如何单机部署.但没有将如何配置微服务.下面分别介绍单机与集群微服务如何配置注册中心. Zookeeper单机配置:方式一. <dubbo:registry address="zookeeper://10.20.153.10:2181"/> 方式二. <dubbo:registry protocol="zookeeper" address="10.20.153.1

一说到集群服务相信对普通开发者来说肯定想到很复杂的事情,如zeekeeper ,反向代理服务网关等一系列的搭建和配置等等:总得来说需要有一定经验和规划的团队才能应用起来.在这文章里你能看到在.net core下的另一种集群构建方案,通过Beetlex即可非常便捷地构建高可用的集群服务. 简述 Beetlex的Webapi集群应用并没有依赖于第三方服务,而是由Beetlex自身完成:它主要是通过Client和策略监控服务相结合的方式来实现集群化的服务负载访问.以下是服务结构: client一旦从配

ZooKeeper 是 Apache 的一个顶级项目,为分布式应用提供高效.高可用的分布式协调服务,提供了诸如数据发布/订阅.负载均衡.命名服务.分布式协调/通知和分布式锁等分布式基础服务.由于 ZooKeeper 便捷的使用方式.卓越的性能和良好的稳定性,被广泛地应用于诸如 Hadoop.HBase.Kafka 和 Dubbo 等大型分布式系统中. 本文的目标读者是对 ZooKeeper 有一定了解的技术人员,将从 ZooKeeper 运行模式.集群组成.容灾和水平扩容四方面逐步深入,最终构建