HDFS（二）

　　HDFS的I/O主要是三个方面：
　　一致性
　　HDFS在一致性上面主要是通过校验和（checksum）来实现；从client发起写入的时候会校验一下文件内容，但是发生在pipeline的最后一个节点的时候。为什么没有在最早的一个节点来校验呢？因为在复制到后续节点的时候可能发生丢包导致异常情况；在最后一个节点做了这件事情就保证了pipeline的这一条线任何一点有问题都会回滚；
　　可以不用checksum，这个是通过client端使用的类决定的；如果采用的是RawLocalFileSysem则是禁用checkSum，如果采用的是CheckSumFileSystem（本身这个类抽象类，继承类是LocalFileSystem），则是代表启用Checksum；如果采用RawLocalFileSystem则是关闭checksum；

　　压缩
　　好处是存储方面：节省空间，传输：加速网络传输。压缩就存在解码问题，交给Codec来处理；在Hadoop里面有Cachec Pool的对象，避免频繁创建Codec对象影响性能。
　　压缩要考虑一个问题，就是文件的分片；如果一种压缩方式不支持分片，那么map就无法并行进行处理一个压缩块了，现在只有bzip2是支持分片的，其他的gizp，LZO等都不支持分片；这个要考虑；
　　MapReduce的处理流程处处都是和压缩有关系，比如mapreduce从hdfs中读取数据是要解压缩，处理完是后，作为中间结果保存是要进行压缩（不强制，可配置），shuffle传输过程直接处理压缩的中间结果，然后到了reduce端在进行解压缩。

　　序列化
　　到底什么是序列化？将结构化的对象转变为字节流（二进制）就是序列化。为什么要序列化，因为要存储和传输；序列化包括两方面，一方面是要转化为字节流，另外一方面就是要通过格式来整合值；只有这样才能够序列化之后反序列化；还有都把那些内容序列化等，这些细节处理很多序列化框架处理都是不一样；比如java原生的序列化就会把类名也给序列化；但是Writable则不会做这件事情。所以序列化一般都是经历两个过程，首先是将结构化的对象转化为某种格式，然后再对格式进行转化；比如对象的xml序列化，首先根据注解将对象转为xml格式，然后再对xml进行字节流处理。这个格式就是为了在反序列化的时候遵循的原则；比如文本文件，\r就是换行。
　　序列化的框架包括：
　　1）Writable，writable是mapreduce里面标准的序列化的处理类；
　　2）AVRO，是Hadoop之父Doug Cutting主持开发的，一种跨语言性很好的IDL语言（可以根据文件生成java类）。其实Parquet出来之后，其优势是明显优于AVRO的，但是在Hadoop权威指南中，AVRO仍然放在的第一的位置上面描述；AVRO是json格式（序列化格式为JSON，类似于xml），压缩自选。
　　3）Parquet，一种列式存储序列化格式；性能很高；
　　4）Sequence File，一种可以适合于存储二进制字段的序列化类型，SequenceFiles是格式的；就是通过这种格式，保证了Sequence File相对高效的读取；文本文件只有回车特殊字符，导致再度取得时候要不断分析当前字节是否是回车，这种模式对于一行字符数不多的文本文件来讲是可以接受的，但是如果是blob这种大数据的存储，这种遍历的模式已经不再使用；但是SequenceFile不同，格式中专门定义了长度为，可以合理的跳转到相应的位置，这就是协议（格式）的优势。
　　那么关于AVRO和SequenceFile的差别是什么Doug Cutting在内部一封邮件中解释了一下，手下是AVRO的互操作性很好 ，IDL语言，可以支持python，c++，Java，c等；第二个就是AVRO是有版本的（Versioning），对于数据结构的修改AVRO可以进行记录。