原文链接:http://blog.chinaunix.net/uid-20196318-id-3213700.html 分布式文件系统主要用于解决海量数据存储的问题,如Goolge.Facebook等大型互联网企业都使用分布式文件系统作为数据存储的基础 设施,并在其上构建很多服务,分布式文件系统通常采用三副本的策略来保证数据的可靠性,但随着应用数据量的不断膨胀,三副本策略为可靠性牺牲的存储空间也 越来越大,如何在不降低数据可靠性的基础上,进一步降低存储空间成本? Facebook将erasure…

作为一名DBA,选择自己的数据存储在什么上面,应该是最基本的事情了.但是很多DBA却容易忽略了这一点,我就是其中一个.之前对raid了解的并不多,本文就记录下学习的raid相关知识. 一.RAID的基础知识 [定义]RAID(Redundant Array of Independent Disk)是一种独立冗余磁盘阵列. 1.为什么要使用RAID? 我们知道,单块磁盘无论是从性能上.容量上.还是安全上都存在单点问题,如果把多块硬盘组成一个group,当成一个逻辑驱动器,从而实现同时从多块硬盘存取…

HDFS目前存储文件的方案是将一个文件切分成多个Block进行存储,通常一个Block 64MB或者128MB,每个Block有多个副本(replica),每个副本作为一个整体存储在一个DataNode上,这种方法在增加可用性的同时也增加了存储成本.ErasureCode通过将M个数据block进行编码(Reed-Solomon,LRC),生成K个校验(parity)block, 这M+K个block组成一个block group,可以同时容忍K个block失败,任何K个block都可以由其他M…

我们知道hadoop1.x之前的namenode存在两个主要的问题:1.namenode内存瓶颈的问题,2.namenode的单点故障的问题.针对这两个问题,hadoop2.x都对它进行改进和解决.其中,问题1中对namenode内存瓶颈的问题采用扩展namenode的方式来解决.对于问题2中的namenode的单点故障问题hadoop2.x采用的是HA的解决方案.apache hadoop 官方网站上提供了两种解决HDFS High Availability Using the Quorum…

简单描述RAID级别: RAID 0 是俩盘一起读写,如果一个坏了那么数据全丢失: RAID 1是一块写,一块用来备份,坏一块无所谓: RAID 2 ,3 ,4 不常用: 最常用的就是RAID 5和RAID 6 ,RAID 5允许坏一块盘,但是最少需要三块盘来做,做出来的容量是N-1的容量(相当于一块用来写校验信息): RAID 6允许坏2块盘,但是最少需要四块盘,容量是N-2(相当于俩盘校验): 一.RAID技术规范简介 RAID技术主要包含RAID -RAID 7等数个规范,它们的侧重点各不…

原文成文于去年(2012.7.30),已然过去了一年,很多信息也许已经过时,不保证正确,与Hadoop学习笔记系列一样仅为留做提醒. ----- 针对现有的所有Hadoop HA方案进行调研,以时间为线,总结如下: 1. BackupNode方案: 08年时开源社区已经开始着手解决Namenode单点问题,随之出来的第一个方案是BackupNode方案.基于0.20版,并合并进入0.21版:参见Apache JIRA HADOOP-4539 [1] 该方案思路为:将NameNode产生的edit…

RAID磁盘冗余阵列 CPU的处理性能保持着高速增长,Intel公司在2017年最新发布的i9-7980XE处理器芯片更是达到了18核心36线程.但与此同时,硬盘设备的性能提升却不是很大,因此逐渐成为当代计算机整体性能的瓶颈.而且,由于硬盘设备需要进行持续.频繁.大量的IO操作,相较于其他设备,其损坏几率也大幅增加,导致重要数据丢失的几率也随之增加. 1988年,加利福尼亚大学伯克利分校首次提出并定义了RAID技术的概念.RAID技术通过把多个硬盘设备组合成一个容量更大.安全性更好的磁盘阵列,并…

RAID(Redundant Array of Independent Disks,独立冗余磁盘阵列) RAID概念: RAID技术通过把多个硬盘设备组合成一个容量更大.安全性更好的磁盘阵列,并把数据切割成多个区段后分别存放在各个不同的物理硬盘设备上,然后利用分散读写技术来提升磁盘阵列整体的性能,同时把多个重要数据的副本同步到不同的物理硬盘设备上,从而起到了非常好的数据冗余备份效果 1. RAID 0 (最少2块) 概念:RAID 0技术把多块物理硬盘设备(至少两块)通过硬件或软件的方式串联在一…

RAID(Redundant Array of Independent Disk,独立磁盘冗余阵列,旧称Redundant Array of InexpensiveDisk,廉价磁盘冗余阵列) 是一种可以让我们把多块磁盘当作单独一块磁盘来使用的技术.可使用它来提高磁盘的可靠性或性能,或二者兼有.一组使用RAID技术的磁盘被称作RAID磁盘阵列.RAID根据性能的不同,存在着多种配置方式,通常兼顾了速度与容错性.下列是几种最常见的配置方式. RAID0使用磁盘分割技术(disk striping)…

Linux RAID 磁盘管理 RAID工作模式介绍:https://www.cnblogs.com/xiangsikai/p/8441440.html 本章主要讲解 Linux下 RAID5 与 RAID10 的部署,两者在企业中比较常用. Linux RAID 使用命令 命令:mdadm 格式:mdadm [模式] <RAID设备名称> [选项] [成员设备名称] 使用参数 作用 -a 检测设备名称  -n  指定设备数量  -l  指定 RAID 级别  -C  创建  -v  显示过程…