不要小看小小的 emoji 表情
前言
好久没更新了,最近事比较多,或许下个月就会恢复到正常的发文频次。
这篇文章得从一个 emoji
表情开始,我之前开源的一个 IM
项目中有朋友提到希望可以支持 emoji
表情传输。
https://github.com/crossoverJie/cim/issues/12
正好那段时间有空,加上这功能看着也比较简单准备把它实现了。
但在真正实现时却发现没那么简单。
我首先尝试将一个 emoji
表情存入数据库看看:
果不其然的出错了,导致这个异常的原因是目前数据库所支持的编码中并不能存放 emoji
,那 emoji
表情到底是个什么东西呢。
本质上来说计算机所存储的信息都是二进制 01
,emoji
也不例外,只要存储和读取(编解码)的方式一致那就可以准确的展示这个信息。
更多编解码的内容后文再介绍,这里先想想如何快速解决问题。
存储 emoji
虽说想要在 MySQL
中存储 emoji
的方式也有好几种,比如可以升级存储字符集到可以存放 emoji
,但这种需要 MySQL
的版本支持。
所以更保险的方式还是在应用层解决,比如我们是否可以将 emoji 当做字符串存储,只是显示的时候要格式化为一个 emoji 表情,这样对于所有的数据库版本都可兼容。
于是我们这里的需求是一个 emoji
表情转换为字符串,同时还得将这个字符串转换为 emoji。
为此我在 GitHub
上找到了一个库,它可以方便的将一个 emoji
转换为字符串的别名,同时也支持将这个别名转换为 emoji
。
https://github.com/vdurmont/emoji-java
@Test
public void emoji() throws Exception{
String str = "An :grinning:awesome :smiley:string 😄with a few :wink:emojis!";
String result = EmojiParser.parseToUnicode(str);
System.out.println(result);
result = EmojiParser.parseToAliases(str);
System.out.println(result);
}
所以基于这个基础库最终实现了表情功能。
其实它本质上是自己维护了一个 emoji 的别名及它的 Unicode 编码(本质上是 UTF-16
)的映射关系,再每次格式化数据的时候都会从这个表中进行翻译。
编码知识回顾
自此需求是完成了,但还有几个问题待解决。
Java
中是如何存储emoji
的?emoji
是如何进行编码的?
ASCII
在谈 emoji
之前非常有必要了解下计算机编码鼻祖的 ASCII 码。
大家现在都知道在计算机内部存储数据本质上都是二进制的 0/1,对于一个字节来说有 8 位;每一位可以表示两种状态,也就是 0 或 1,这样排列组合下来,一个字节就可以表示 256(2∧8) 种不同的状态。
对于美国来说他们日常使用的英语只需要 26 个英文字母,再加上一些标点符号就足够用计算机来进行信息交流。
于是上个世纪 60年代定义了一套二进制与英文字符的映射关系,可以表明 128 个不同的英文字符,也就是现在的 ASCII
码。
这样我们就可以使用一个字节来表示现代英文,看起来非常不错。
Unicode
随着计算机的发展,逐渐在欧洲、亚洲地区流行;再利用这套 ASCII
码进行信息交流显然是不行的,很多地区压根就不使用英文,而且也远超了 128 位字符(中文就更不用说了)。
虽说一个字节在 ASCII
码中只用了 128
位,但剩下(258-128
)的依然不足用用于描述其他语言。
这时如果能有一种包含了世界上所有的文字的字符集,每一个地区的文字都在这个字符集中有唯一的二进制表示,这样便不会出现乱码问题了。
Unicode
就是来做这个的,截止目前 Unicode
已经收录了 10W+ 的字符,你所能使用的字符都包含进去了。
UTF-8
Unicode
虽说包含了几乎所有的文字,但在我们日常使用好像很少看到他的身影,我们用的更多的还是 UTF-8
这样的编码规则。
这也有几方面的原因,比如说除开英文,其他大部分的文字都需要用 2 个甚至更多的字节来表示;如果统一都用 Unicode 来表示,那必然需要以占用字节最多的字符长度为标准。
比如汉字需要 2 个字节来表示,而英文只需要一个字节;这时就得规定 2 个字节表示一个字符,不然汉字就没法表示了。
但这样也会带来一个问题:用两个字节表示英文会使得第一个字节完全是浪费的,如果一段信息全是英文那对内存的浪费是巨大的。
这时大家应该都能想到,我们需要一个可变的长度的字符编码规则,当是英文时我们就用一个字节表示,甚至可以完全兼容 ASCII 码。
UTF-8 便是实现这个需求的,它利用两种规则可以表示一个字节以及多字节的字符。
大致规则如下:
- 当第一个字节的第一位为 0 时便表示为单字节字符,此时和 ASCII 码一致,完全兼容。
- 当第一个字节为 1 时,有几个 1 便代表是几个字节 Unicode 字符。
这样便可根据字符的长度最大程度的节省存储空间。
当然还有其他的编码规则,比如 UTF-16
、UTF-32
,平时用的不多,但本质上都和 UTF-8
一样,都是 Unicode
的不同实现,也是用于表示世界上大部分文字的字符集。
Java 中的 emoji
现在来回到本次的主题,emoji
。
刚才说到 Unicode
包含了世界上大部分的字符,emoji
自然也不例外。
https://apps.timwhitlock.info/emoji/tables/unicode
这个表格中包含了所有的 emoji
以及它所对应的 Unicode
编码,同时也有对应的 UTF-8
编码的实现。
从图中也可以看出 emoji
表情用 UTF-8
表示时会占用 4 个字节,那在 Java 中它会是怎么存储的呢?
很简单,debug 一下就知道了。
在 Java
中也是通过 char
来存储 emoji
的,char
作为基本数据类型会占用 2 个字节;从刚才的图中可以看出,emoji
使用 UTF-8
会占用四个字节,这样很明显 char
是没法存储的,所以在这里其实是使用 UTF-16
编码进行存储。
基于这个原理,我们也可以自己实现将一个 emoji
表情转换为字符串,同时也可通过字符串转换为 emoji
。
总结
从这次研究 emoji
可以看出,任何一门基础知识都是应用的根基,在计算机行业尤为突出,希望大家看完这篇能回忆起大学课堂被老师支配的恐惧
不要小看小小的 emoji 表情的更多相关文章
- 移动前端手机输入法自带emoji表情字符处理
今天,测试给我提了一个BUG,说移动端输入emoji表情无法提交.很早以前就有思考过,手机输入法里自带的emoji表情,应该是某些特殊字符.既然是字符,那应该都能提交才对,可是为啥会被卡住呢?搜了一下 ...
- JS操作Unicode编码的emoji表情显示在页面
前言:项目中用到了emoji表情,后端传递数据时直接是以Unicode形式,在页面总是无法展示,找尽各种方法总算是试出了一种,虽然达到效果但是并不是特别理解其中的原理并且无比笨拙,贴在这用作笔记,如果 ...
- IOS Emoji表情
IOS Emoji 前言:我比较喜欢有趣的东西,有一些有趣的小东西,可能不是多么多么牛逼,也可能不需要多高深的技巧,也不会为其他什么强大的功能而服务,但是有时候将很多有趣的小东西组合起来运用,比如在你 ...
- 有关emoji表情以及utf-16编码
昨日IOS组的同事遇到一个棘手的问题:当输入框内含有emoji表情时,如何获取文本框内的字符数(一个emoji表情算一个字符). 先从我最近接触的JAVA说起,JAVA中,在使用S ...
- iOS emoji表情转码 或者判断
如果项目中有评论或者信息恢复的地方,往往会用到emoji,有时候如后台不支持emoji,就会显示乱码错误,我们可以把emoji转成unicode编码或者utf8编码格式传给服务器.当然如果后台服务器接 ...
- mysql支持IOS的Emoji表情
原因: UTF-8编码有可能是两个.三个.四个字节.Emoji表情是4个字节,而Mysql的utf8编码最多3个字节,所以数据插不进去. 解决办法: 将Mysql的编码从utf8转换成utf8mb4 ...
- iOS 获取emoji表情和拦截emoji表情
1 2 //将数字转为 #define EMOJI_CODE_TO_SYMBOL(x) ((((0x808080F0 | (x & 0x3F000) >> 4) | (x &a ...
- 让mysql支持emoji表情
一.问题及原因 APP产品想对Emoji进行支持,但发现mysql数据库无法写入表情.原因是我们的mysql数据库默认用的是utf8编码,utf8编码存储时用的是三个字节,但Emoji表情是4个字节, ...
- emoji表情初探
2015年12月28日 14:24:51 星期一 首先注意的地方: 1. emoji是需要操作系统支持的, 例如: ios更新时, 会在升级日志里说明, 增加了对多少个emoji图标的支持. 原理上是 ...
随机推荐
- Oracle中ROWNUM伪列和ROWID伪列的用法与区别
做过Oracle分页的人都知道由于Oracle中没有像MySql中limit函数以及SQLServer中的top关键字等,所以只能通过伪列的方式去满足分页功能,在此,不谈分页方法,只从根本上去介绍这两 ...
- Spring条件注解@Conditional
@Conditional是Spring4新提供的注解,它的作用是根据某个条件创建特定的Bean,通过实现Condition接口,并重写matches接口来构造判断条件.总的来说,就是根据特定条件来控制 ...
- plotly之set_credentials_file问题
相信了解可视化的同学们都听说过plotly,笔者也是第一次了解这个网站,然后兴冲冲地设置,但是没想到第一次进行在线账号初始化就出现了问题! python3报错为module 'plotly.tools ...
- 【原创】原来你竟然是这样的Chrome?!Firefox笑而不语
书接上文 上一篇文章<[原创]用事实说话,Firefox 的性能是 Chrome 的 2 倍,Edge 的 4 倍,IE11 的 6 倍!>,我们对比了不同浏览器下FineUIPro一个页 ...
- Unity经典游戏编程之:球球大作战
版权声明: 本文原创发布于博客园"优梦创客"的博客空间(网址:http://www.cnblogs.com/raymondking123/)以及微信公众号"优梦创客&qu ...
- [NUnit]No results
Results (nunit3) saved as TestResult.xmlCommitting...No results, this could be for a number of reaso ...
- C#使用代理IP发送请求
https://www.cnblogs.com/benbenfishfish/p/5830149.html 获取可代理的IP https://www.cnblogs.com/ShalenChe/p ...
- 利用DoHome APP和音箱控制LED灯实验参考步骤
准备材料: Arduino Uno 一块 Arduino 扩展板 购买链接 DT-06模块一个 购买链接 安卓手机一个 小度音箱一个 小灯珠一个 杜邦线若干 1.DT-06固 ...
- 实测win10 efi启动及centos7双系统引导顺序修改
安装win10 安装win10过程中,系统自动建立esp分区,分区格式为FAT16,目录如下 1,EFI/Boot文件夹保持不动 删除 EFI/Microsoft/boot/ 文件夹下面除BCD文件外 ...
- python变量前的单下划线(私有变量)和双下划线()
1.单下划线 变量前的单下划线表示表面上私有 ,但是其实这样的实例变量外部是可以访问的,但是,按照约定俗成的规定,当你看到这样的变量时,意思就是,“虽然我可以被访问,但是,请把我视为私有变量,不要随意 ...