netty 使用字典提升短文本的压缩效果

1 问题

　　术语：压缩率，compression ratio，压缩后的大小／压缩前的大小，越小说明压缩效果越好。

　　在使用netty的JdkZlibEncoder进行压缩时，发现了一个问题：它对于短文本（小于2K）的压缩效果很差，压缩率在80%-120%，文本越短，压缩效果越差，甚至可能比没压缩前更大。

　　通过研究发现，使用字典可以改进压缩效果。以下详细介绍如何做。

2 提取字典

　　我们要传输的文本类似于：

 <?xml version="1.0" encoding="utf-8" ?>
 <Event attribute="TRANSIENT">
   <outer id="" from="" to="" trunk="" callid=""/>
   <ext id=""/>
 </Event>

　　提取字典的原则：将重复出现的字符串加入到字典。

　　可以提取以下字典：

 String[] dictionary = {
         "<?xml version=\"1.0\" encoding=\"utf-8\" ?>",
         "Event", "TRANSIENT", "attribute", "outer", "from", "trunk",
         "callid", "id", "to", "ext"
 };
 

3 测试用例

　　使用EmbeddedChannel API来构建测试用例。EmbeddedChannel能够模拟入站和出站的数据流，对于测试ChannelHandler非常有用。

　　JdkZlibEncoder的构造函数可以接受一个字典参数：

　　下面是测试代码：

 public class GzipTest {

     private String xml = "<?xml version=\"1.0\" encoding=\"utf-8\" ?>" +
             "<Event attribute=\"TRANSIENT\">" +
             "<outer id=\"11\" from=\"1005\" to=\"915880056212\" trunk=\"83057387\" callid=\"24587\"  />" +
             "<ext id=\"1005\" />" +
             "</Event>";

     private String[] dictionary = {
             "<?xml version=\"1.0\" encoding=\"utf-8\" ?>",
             "Event", "TRANSIENT", "attribute", "outer", "from", "trunk",
             "callid", "id", "to", "ext"
     };

     /**
      * 不使用字典压缩
      */
     @Test
     public void test1() {
         EmbeddedChannel embeddedChannel = new EmbeddedChannel();
         ChannelPipeline pipeline = embeddedChannel.pipeline();
         //
         pipeline.addLast("gzipDecoder", new JdkZlibDecoder());
         pipeline.addLast("gzipEncoder", new JdkZlibEncoder(9));
         pipeline.addLast("decoder", new StringDecoder());
         pipeline.addLast("encoder", new StringEncoder());
         //
         System.out.println("*******不使用字典压缩*******");
         int compressBefore = xml.getBytes(StandardCharsets.UTF_8).length;
         System.out.printf("压缩前大小：%d \n", compressBefore);
         // 模拟输出
         embeddedChannel.writeOutbound(xml);
         ByteBuf outboundBuf = embeddedChannel.readOutbound();
         int compressAfter = outboundBuf.readableBytes();
         System.out.printf("压缩后大小：%d, 压缩率：%d%% \n", compressAfter,
                 compressAfter * 100 / compressBefore);

     }

     /**
      * 使用字典压缩
      */
     @Test
     public void test2() {
         EmbeddedChannel embeddedChannel = new EmbeddedChannel();
         ChannelPipeline pipeline = embeddedChannel.pipeline();
         // 字典
         byte[] dictionaryBytes = String.join("", dictionary)
                 .getBytes(StandardCharsets.UTF_8);
         //
         pipeline.addLast("gzipDecoder", new JdkZlibDecoder(dictionaryBytes));
         pipeline.addLast("gzipEncoder", new JdkZlibEncoder(9, dictionaryBytes));
         pipeline.addLast("decoder", new StringDecoder());
         pipeline.addLast("encoder", new StringEncoder());
         //
         System.out.println("*******使用字典压缩*******");
         int compressBefore = xml.getBytes(StandardCharsets.UTF_8).length;
         System.out.printf("压缩前大小：%d \n", compressBefore);
         // 模拟输出
         embeddedChannel.writeOutbound(xml);
         ByteBuf outboundBuf = embeddedChannel.readOutbound();
         int compressAfter = outboundBuf.readableBytes();
         System.out.printf("压缩后大小：%d, 压缩率：%d%% \n", compressAfter,
                 compressAfter * 100 / compressBefore);
     }

 }

输出：

*******不使用字典压缩*******

压缩前大小：173

压缩后大小：150, 压缩率：86%

*******使用字典压缩*******

压缩前大小：173

压缩后大小：95, 压缩率：54%

　　从输出可以看到，压缩率由86%提升至了54%。

4 进一步

　　如果觉得手工提取字典效率太低，还可以试一下zstd。zstd是由facebook提供的一个压缩库，它提供了自动提取字典的工具。命令如下：

　zstd --train ./dictionary/* -o ./dict.bin

5 参考资料

zstd github

文本压缩算法的对比和选择