1.ASCII、Unicode、UFT-8

在看Text类型的时候,里面出现了上面三种编码,先看看这三种编码:

ASCII是基于拉丁字母的一套电脑编码系统。它主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统,并等同于国际标准ISO/IEC 646。ASCII是7位字符集,是美国标准信息交换代码的缩写,为美国英语通信所设计。它由128个字符组成,包括大小写字母、数字0-9、标点符号、非打印字符(换行副、制表符等4个)以及控制字符(退格、响铃等)组成。从定义,很明显,单字节编码,现代英语,局限性很大。

由于它是针对英语设计的,当处理带有音标符号的亚洲文字就会出现问题。因此,创建除了一些包含255个字符的由ASCII扩展的字符集。其中有两种比较有名:IBM字符集和ISOLatin-1,但是,仅仅汉语字母表就有80000以上个字符。但是把汉语、日语、越南语的一些相似的字符结合起来,在不同的语言里,使用不同的字符代表不同的字,这样,只用2个字节就可以编码地球上几乎所有的文字。因此UNICODE编码由此创建。

Unicode(统一码、万国码、单一码)是一种在计算机上使用的字符编码。Unicode 是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。和AASCII不同,它共过增加一个 高字节对ISO Latin-1字符集进行扩展,当着写高字节为0时,低字节就是ISO Latin-1字符。

但是,对可以使用ASCII表示的字符使用UNICODE来表示,并不是很高效,因为UNICODE是两个字节组成的,而ASCII是由单字节组成的。UNICODE比ASCII占用大了一倍的空间。为了解决这个问题,就出现了一些中间格式的字符集,他们被称为通用转换格式,即UTF。常见的UTF格式有:UTF-7、UTF-7.5、UTF-8等。

UTF-8(8-bit Unicode Transformation Format)是一种针对Unicode的可变长度字符编码,又称万国码。由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码UNICODE字符。用在网页上可以同一页面显示中文简体繁体及其它语言(如英文,日文,韩文)。UTF-8转换表表示如下:

实际表示ASCII字符的UNICODE字符,将会编码成1个字节。并且UTF-8表示会与ASCII字符表示是一样的。所有其他的UNICODE字符转化成UTF-8将需要至少2个字节。

优点:
UTF-8编码可以通过屏蔽位和移位操作快速读写。字符串比较时strcmp()和wcscmp()的返回结果相同,因此使排序变得更加容易。字节FF和FE在UTF-8编码中永远不会出现,因此他们可以用来表明UTF-16或UTF-32文本(见BOM) UTF-8 是字节顺序无关的。它的字节顺序在所有系统中都是一样的,因此它实际上并不需要BOM。
缺点:
你无法从UNICODE字符数判断出UTF-8文本的字节数,因为UTF-8是一种变长编码它需要用2个字节编码那些用扩展ASCII字符集只需1个字节的字符 ISO Latin-1 是UNICODE的子集, 但不是UTF-8的子集 8位字符的UTF-8编码会被email网关过滤,因为internet信息最初设计为7位ASCII码。因此产生了UTF-7编码。 UTF-8 在它的表示中使用值100xxxxx的几率超过50%, 而现存的实现如ISO 2022, 4873, 6429, 和8859系统,会把它错认为是C1 控制码。因此产生了UTF-7.5编码。
 
Java的字符类型采用的是UTF-16编码方式对Unicode编码表进行表示。其中一个char类型固定2Bytes(16bits)。
UTF-16是Unicode字符编码五层次模型的第三层:字符编码表(Character Encoding Form,也称为 "storage format")的一种实现方式。即把Unicode字符集的抽象码位映射为16位长的整数(即码元)的序列,用于数据存储或传递。Unicode字符的码位,需要1个或者2个16位长的码元来表示,因此这是一个变长表示。

2.Text类型

<1>Text简介

Text是针对UTF-8序列的Writable类。一般可以认为等价于java.lang.String的Writable。

由于它着重使用标准的UTF-8编码,因此Text类的索引是根据编码后字节序列中的位置实现的。并非字符串中的Unicode字符,也不是Java Char的编码单元。对于ASCII字符串,这三个索引位置的概念是一致的。

<2>String 和 Text区别

上面已经提到了,Text类的索引是根据编码后字节序列中的位置实现的。String的索引是Java Char编码单元实现的。当字符串为ASCII码的时候,也就是全部为7位的单字节的时候,String 和 Text一致!

(1).当字符串为ASCII码(单字节)

Example:

 package cn.roboson.writable;

 import java.io.UnsupportedEncodingException;

 import org.apache.hadoop.io.Text;

 /**
* 1.区别Text和String
* 2.首先从ASSCII字符串比较(也就是全部都是7位单字节),
* 3.通过getLength()、getBytes()、charAt()、find()、indexof()、codePointAt()方法来测试
* @author roboson
*
*/
public class WritableText01 { public static void main(String[] args) throws UnsupportedEncodingException {
//Hadoop中全部都是7位单字节(H,a,d,o,o,p)
String str = new String("Hadoop");
Text t = new Text("Hadoop"); //“Hadoop”的长度,也就是所含char编码单元的个数(H,a,d,o,o,p)共6个
System.out.println("String length:"+str.length()); //6 //String的getBytes() 方法返回根据相应编码(此例为utf-8)编码后的字节数,因为Hadoop这个字符串都是单字节的,所以,用utf-8编码,效果同ASCII编码一样,都是6个字节
System.out.println("String getBytes:"+str.getBytes("UTF-8").length); //6 //String的charAt()方法返回的是相应位置的char编码单元
System.out.println("String chartAt:"+str.charAt(0)); //H
System.out.println("String chartAt:"+str.charAt(5)); //p //String的indexOf()方法返回的字符出现的位置
System.out.println("String indexof:"+str.indexOf("H"));
System.out.println("String indexof:"+str.indexOf("p")); //String的codePointAt()方法返回的对应位置的unicode字符集序号
System.out.println("String codePointAt:"+str.codePointAt(0)); //
System.out.println("String codePointAt:"+str.codePointAt(5)); //112 //“Hadoop”的长度,也就是有UTF-8编码后所含有的字节数
System.out.println("Text length:"+t.getLength()); //6 //同indexof()方法相似,返回字节出现的位置
System.out.println("Text find:"+t.find("H")); //
System.out.println("Text find:"+t.find("a")); //1 //Text类的charAt方法也是返回对应的unicode字符集序号
System.out.println("Text char:"+t.charAt(0)); //
System.out.println("Text char:"+t.charAt(1)); //
}
}

运行结果:

(2).当字符串为多个字节

一旦使用多个字节来编码时,Text和String之间区别就很明显了

Unicode code point U+0041 U+00DF U+6771 U+10400
UTF-8 code units 41 c3 9f e6 9d b1 fo 90 90 80
Java representation \u0041 \u00DF \u6771 \uD801 \uDC00

第一行表示unicode字符集中的序号(也是以16进制表示),第二行表示的是采用utf-8编码的情况,第三行表示的是用utf-16编码的情况,可以看到,第四个字符在utf-16编码下也占用4个字节(两个char单元,每个char单元是两字字节)

分析:

Text t = new Text("\u0041\u00DF\u6771\uD801\uDC00");

Text中的长度是由编码后字节的个数所决定的!那么,字节的个数是如何算的呢?在上文的UTF-8转换表图中有说明:

如下图,是t的字节数的实现,通过其二进制的位数,然后,同UTF-8转换表对比,从而得出其字节数!

unicode 二进制 位数 字节数
U+0041 1000001 7 1
U+00DF 11011111 8 2
U+6771 110011101110001 15 3
U+10400 10000010000000000 17 4

t的长度:1+2+3+4=10;

可以通过下面的例子来验证:

Example:

 package cn.roboson.writable;

 import java.io.UnsupportedEncodingException;

 import org.apache.hadoop.io.Text;

 public class WtitableText {
public static void main(String[] args) throws UnsupportedEncodingException {
String str = "\u0041\u00DF\u6771\uD801\uDC00"; Text text = new Text("\u0041\u00DF\u6771\uD801\uDC00"); System.out.println(str.length()); // System.out.println(str.getBytes("UTF-8").length); //
String str1="\u0041";
System.out.println(str1.getBytes("UTF-8").length); //
String str2="\u00DF";
System.out.println(str2.getBytes("UTF-8").length); //
String str3="\u6771";
System.out.println(str3.getBytes("UTF-8").length); // String str4="\uD801\uDC00";
System.out.println(str4.getBytes("UTF-8").length); // System.out.println(str.indexOf("\u0041")); //
System.out.println(str.indexOf("\u00DF")); //
System.out.println(str.indexOf("\u6771")); //
System.out.println(str.indexOf("\uD801\uDC00")); // System.out.println(str.charAt(0)=='\u0041'); //true
System.out.println(str.charAt(1)=='\u00DF'); //true
System.out.println(str.charAt(2)=='\u6771'); //true
System.out.println(str.charAt(3)=='\uD801'); //true
System.out.println(str.charAt(4)=='\uDC00'); //true System.out.println(str.codePointAt(0)); //
System.out.println(str.codePointAt(1)); //
System.out.println(str.codePointAt(2)); //
System.out.println(str.codePointAt(3)); // System.out.println(text.getLength()); //
System.out.println(text.find("\u0041")); //
System.out.println(text.find("\u00DF")); //
System.out.println(text.find("\u6771")); //
System.out.println(text.find("\uD801\uDC00")); // System.out.println(text.charAt(0)); //
System.out.println(text.charAt(1)); //
System.out.println(text.charAt(3)); //
System.out.println(text.charAt(6)); //
}
}

运行结果:

3.Text类型的迭代

通过上面,也知道,通过字节量进行位置索引来实现对Text类Unicode字符的迭代是非常复杂的,因为字节数变化很大(1~6),你不能简单地通过增加位置的索引值来实现。

迭代的实现:

将Text对象转换为Java.nio.ByteBuffer对象,然后利用缓冲去对Text对象反复调用bytesToCodePoint()静态方法。该方法能头获取下一代码的位置,并返回相应的int值,最后更新缓冲区中的位置。通过bytesToCodePoint()方法可以检测出字符串的末尾,并返回-1.

Example:遍历Text对象中的字符

 package cn.roboson.writable;

 import java.nio.ByteBuffer;

 import org.apache.hadoop.io.Text;

 public class WritableText03 {

     public static void main(String[] args) {
Text t = new Text("\u0041\u00DF\u6771\uD801\uDC00");
ByteBuffer buf = ByteBuffer.wrap(t.getBytes(),0,t.getLength());
int cp;
while(buf.hasRemaining() && (cp = Text.bytesToCodePoint(buf))!=-1){
//以十六进制的无符号整数形式返回一个整数参数的字符串表示形式。
System.out.println(Integer.toHexString(cp));
}
}
}

运行结果:

4.Text类型的易变性

与String相比,Text的另一个区别在于它是可变的。可以通过调用其中一个set()方法来重用Text实例。

在某些情况下,getBytes()方法返回的字节数组可能比getLength()函数返回的长度更长,因此,在调用getBytes()之前,始终调用getLength()方法,因为,可能由此知道字节数组的中有多少是有效的。至于原因,还没弄明白

 package cn.roboson.writable;

 import org.apache.hadoop.io.Text;

 public class WritableText04 {

     public static void main(String[] args) {
Text t = new Text("Hadoop");
System.out.println("Hadoop的长度:"+t.getLength());
System.out.println("Hadoop的字节数组:"+t.getBytes().length); t.set(new Text("robo"));
System.out.println("robo的长度:"+t.getLength());
System.out.println("robo的字节数组:"+t.getBytes().length);
}
}

运行结果:

set(String str);

set(Text text);这两种的效果又不一样。

Example:

 package cn.roboson.writable;

 import org.apache.hadoop.io.Text;

 public class WritableText04 {

     public static void main(String[] args) {
Text t = new Text("Hadoop");
System.out.println("Hadoop的长度:"+t.getLength());
System.out.println("Hadoop的字节数组:"+t.getBytes().length); t.set("robo");
System.out.println("robo的长度:"+t.getLength());
System.out.println("robo的字节数组:"+t.getBytes().length);
}
}

运行结果:

参考:

http://baike.baidu.com/link?url=knrf3QgRtcjQBusr_kuXdR6lclC1AyquSOpojyV_UXQ-L8XBKymFLpZP8rk6QTZTXdT32cHgQaLlLDzkuUzDGK

http://www.cnblogs.com/yuhan-TB/p/3752725.html

《Hadoop权威指南》

Hadoop中Writable类之二的更多相关文章

  1. Hadoop中Writable类之四

    1.定制Writable类型 Hadoop中有一套Writable实现,例如:IntWritable.Text等,但是,有时候可能并不能满足自己的需求,这个时候,就需要自己定制Writable类型. ...

  2. Hadoop中Writable类之三

    1.BytesWritable <1>定义 ByteWritable是对二进制数据组的封装.它的序列化格式为一个用于指定后面数据字节数的整数域(4个字节),后跟字节本身. 举个例子,假如有 ...

  3. Hadoop中Writable类

    1.Writable简单介绍 在前面的博客中,经常出现IntWritable,ByteWritable.....光从字面上,就可以看出,给人的感觉是基本数据类型 和 序列化!在Hadoop中自带的or ...

  4. python中的类(二)

    python中的类(二) 六.类的成员 字段:普通字段,静态字段 eg: class Province(): country=’中国’ #静态字段,保存在类中,执行时可以通过类或对象访问 def __ ...

  5. hadoop中Text类 与 java中String类的区别

    hadoop 中 的Text类与java中的String类感觉上用法是相似的,但两者在编码格式和访问方式上还是有些差别的,要说明这个问题,首先得了解几个概念: 字符集: 是一个系统支持的所有抽象字符的 ...

  6. 谈谈Python中元类Metaclass(二):ORM实践

    什么是ORM? ORM的英文全称是“Object Relational Mapping”,即对象-关系映射,从字面上直接理解,就是把“关系”给“对象”化. 对应到数据库,我们知道关系数据库(例如Mys ...

  7. Java并发包中常用类小结(二)

    6.ThredPoolExecutor ThredPoolExecutor是基于命令模式下的一个典型的线程池的实现,主要通过一些策略实现一个典型的线程池,目前已知的策略有ThreadPoolExecu ...

  8. hadoop中典型Writable类详解

    本文地址:http://www.cnblogs.com/archimedes/p/hadoop-writable.html,转载请注明源地址. Hadoop将很多Writable类归入org.apac ...

  9. hadoop中实现定制Writable类

    Hadoop中有一套Writable实现可以满足大部分需求,但是在有些情况下,我们需要根据自己的需要构造一个新的实现,有了定制的Writable,我们就可以完全控制二进制表示和排序顺序. 为了演示如何 ...

随机推荐

  1. Jmeter监控服务器的CPU

    1.Jmeter监控服务器的软件:链接: https://pan.baidu.com/s/1Ag75IXqR2XMe8RpZA4nvHg 密码: yki2 2.(1)Window版本 <1> ...

  2. .NET实现WebSocket服务端即时通信实例

    即时通信常用手段 1.第三方平台 谷歌.腾讯 环信等多如牛毛,其中谷歌即时通信是免费的,但免费就是免费的并不好用.其他的一些第三方一般收费的,使用要则限流(1s/限制x条消息)要么则限制用户数. 但稳 ...

  3. (转)SQL SERVER 日志已满的处理方法

    本文转载自:http://www.cnblogs.com/eycbest/archive/2012/01/04/2311567.html 事务日志文件Transaction Log File是用来记录 ...

  4. java get post 请求

    package wzh.Http; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStr ...

  5. 机房用ROS创建时间服务器

    发现机房里的服务器时间老是不同步,虽然都设置为time-a.nist.gov和time-b.nist.gov,仍然有失败的概率.可能是因为国外服务器的缘故.所以打算在机房里创建一个时间服务器.正好RO ...

  6. php调用dll经验小结

    最近做一个网站,需要频繁使用远程数据,数据接口已经做好.在做转换的时候遇到了性能上的问题:开始打算用php来实现转换,苦苦查了数天,都没有找到直接操作字节的方法.虽然可以使用 pack() 方法将各个 ...

  7. 源文件封装为IP的步骤

    因为模块的交接,最好将写好的源文件和生成的IP封装一个IP,然后再转交给其他的同事使用,这是一种好的习惯.但是对于,封装的过程还是需要注意一下.实际的看看步骤吧.1)将源文件和使用到的IP生成工程. ...

  8. requests接口测试——身份认证

    当调用者访问接口时需要进行用户认证(用户名密码的登录),只有通过了认证才允许调用者访问接口. 1.基本身份认证 许多要求身份认证的web服务都接受HTTP Basic Auth.这是最简单的一种身份认 ...

  9. pom指定java编译版本和编码

    方法一 <properties> <!-- 文件拷贝时的编码 --> <project.build.sourceEncoding>UTF-8</project ...

  10. 怎样给oracle数据库的用户解锁

    找到并进入运行窗口:(可以用windows+r快捷键哦)输入sqlplus命令:如图   进入新窗口后使用scott/tiger用户和密码进行登录会发现登录不成功:如图   这时我们可以使用syste ...