[IR] Advanced XML Compression - ISX
Ori paper: http://www.cse.unsw.edu.au/~wong/papers/www07.pdf
ISX Requirements
1 Space does matter for many applications
2 Generally reducing space improves cache locality
3 Indirection is expensive
4 Support fast navigations
5 Support fast insertion and deletion
6 Support efficient joins
7 Separate topology, text and schema
For mobile devices:
To find a space-efficient storage scheme for XML data without compromising both query and update performances.

Figure, the ISX Structure

Figure, Sample DBLP XML Fragment
压缩过程:
采用如下Balanced Parenthesis Encoding方法:(真是一个压缩 tree structure 的好办法!通过深度有限遍历搞定,DFS)

还原过程:
Node Navigations:
线段树+括号序列: (资料补充)
上述的算法其实就是这个问题,先看看这个算法。By the way, 博客可见,山东的高中计算机竞赛选手如今都达到这样的水准了?... 牛!
Idea: 化树为线性数列,从而解决问题。

它的括号序列就是 (A (B)( C(D)(E) )) 括号序列有着非常好的性质。
问一:C的兄弟有谁? 1) 距离为2;2) 向左瞧,直接看到 )(,然后找 ( 。
问二:C的长辈有谁? 在左边且距离为1. 因为只有一个长辈,所以找到即end。
问三:C的孩子有谁? 在右边且距离为1. 遇到右括号,匹配后value = 0,即end。
对于一个括号序列,两个点之间的距离就是:它们中间的括号成对消除之后剩余括号的数量。
对于一段括号编码,我们使用数对(a,b)来描述它,表示它在消除后有a个左括号,b个右括号。so,我们只需要设计一种数据结构支持单点修改,区间查询就好辣。
这让我们联想到线段树。那么下一步我们就是考虑:如何从两个字节点合并成一个父节点。这让我们想起最长连续和。
考察一个合法的序列,如果它有贡献,那么序列的左右两边一定都有一个黑点,那么,父节点的最长序列有这样几种情况:
- 子序列在左边
- 子序列在右边
- 子序列跨过中间
对于前两种情况,我们递归处理,第三种情况的话,分析一下: 也就是说,题目只需要动态维护:max{a+b | S’(a, b) 是 S 的一个子串,且 S’ 介于两个黑点之间}, 这里 S 是整棵树的括号编码。我们把这个量记为 dis(s)。
现在如果可以通过左边一半的统计信息和右边一半的统计信息,得到整段编码的统计,这道题就可以用熟悉的线段树解决了。
(其他部分,详见原文)

解释:
T10 = 4(左括号), 1(右括号), 0, 4, -1, 3, 1
| ( | ( | ( | ( | ) | ||
| 0 | 1 | 2 | 3 | 4 | 3 | |
| 3 | 2 | 1 | 0 | -1 | 0 |
T11 = 2(左括号), 2(右括号), -1, 1, -1, 1, 1
| ) | ( | ( | ) | |||
| 0 | -1 | 0 | 1 | 0 | ||
| 0 | 1 | 0 | -1 | 0 |
T12 = 3(左括号), 3(右括号), -1, 1, -1, 1, 1
| ) | ( | ( | ) | ) | ( | ||
| 0 | -1 | 0 | 1 | 0 | -1 | 0 | |
| 0 | 1 | 0 | -1 | 0 | 1 | 0 |
T10+T11 = 7(左括号), 3(右括号), 0(0-1+1), 4(4+1-1), -1(-1-1+1), 3(3+1-1), 2
| ( | ( | ( | ( | ) | ) | ( | ( | ) | |||
| 0 | 1 | 2 | 3 | 4 | 3 | 2 | 3 | 4 | 3 | ||
| 3 | 2 | 1 | 0 | -1 | 0 | 1 | 0 | -1 | 0 |
min的和再+1;max的和再-1。
T10+T11+T12 = 9(左括号), 6(右括号), 0(0-1-1+2), 4(4+1+1-2), -1(-1-1-1+2), 3(3+1+1-2), 3
| ( | ( | ( | ( | ) | ) | ( | ( | ) | ) | ( | ( | ) | ) | ( | ||
| 0 | 1 | 2 | 3 | 4 | 3 | 2 | 3 | 4 | 3 | 2 | 3 | 4 | 3 | 2 | 3 | |
| 3 | 2 | 1 | 0 | -1 | 0 | 1 | 0 | -1 | 0 | 1 | 0 | -1 | 0 | 1 | 0 |
min的和再+2;max的和再-2。
Where is the close tag?
方法:匹配左右括号,使之匹配
最后不能忘了把算法的性能吹一吹,指标如下所示:

[IR] Advanced XML Compression - ISX的更多相关文章
- [IR] Advanced XML Compression - XBW
思考:与ISX对比后能得出什么结论 原理解析: We proposed the XBW-transform that mimics on trees the nice structural prope ...
- [IR] XML Compression
Ref: https://www.ibm.com/developerworks/cn/xml/x-datacompression/ Language-Equivalent (类似路径压缩 ) root ...
- 本人AI知识体系导航 - AI menu
Relevant Readable Links Name Interesting topic Comment Edwin Chen 非参贝叶斯 徐亦达老板 Dirichlet Process 学习 ...
- [Code] 烧脑之算法模型
把博客的算法过一遍,我的天呐多得很,爱咋咋地! 未来可考虑下博弈算法. 基本的编程陷阱:[c++] 面试题之犄角旮旯 第壹章[有必要添加Python] 基本的算法思想:[Algorithm] 面试题之 ...
- [IR] BWT+MTF+AC
BWT (Burrows–Wheeler_transform)数据转换算法 MTF(Move-to-front transform)数据转换 基于统计的压缩算法:游程编码 良心PPT: bwt_bas ...
- Data Block Compression
The database can use table compression to eliminate duplicate values in a data block. This section d ...
- asp.net core 系列之Performance的 Response compression(响应压缩)
本文,帮助了解响应压缩的一些知识及用法(大部分翻译于官网,英文水平有限,不准确之处,欢迎指正). 什么是响应压缩?响应压缩简单的说就是为了减少网络带宽,而把返回的响应压缩,使之体积缩小,从而加快响应的 ...
- Frontend Development
原文链接: https://github.com/dypsilon/frontend-dev-bookmarks Frontend Development Looking for something ...
- Delphi资源大全
A curated list of awesome Delphi frameworks, libraries, resources, and shiny things. Inspired by awe ...
随机推荐
- [Visual Studio] 自定义类模板
1.找到vs2015/vs2012/vs2017的安装目录下:Common7\IDE\ItemTemplates\CSharp\Code\2052\Class 2.打开Class.cs文件 using ...
- Oozie分布式工作流——从理论和实践分析使用节点间的参数传递
Oozie支持Java Action,因此可以自定义很多的功能.本篇就从理论和实践两方面介绍下Java Action的妙用,另外还涉及到oozie中action之间的参数传递. 本文大致分为以下几个部 ...
- [原创]H5前端性能测试工具介绍
[原创H5前端性能测试工具介绍 一 网络抓包工具 网络抓包工具选择原则,可以捕获网络请求,抓取具体请求信息流,同时可以针对网络请包进行修改或拦截: 1.Fiddler(推荐) 2.Charles(推荐 ...
- 网络的FIN_WAIT_2状态解释和分析
关于网络设备的FIN_WAIT_2状态解释出处:http://hi.baidu.com/netdemon1981/blog/item/584bfbb2aeb1d4acd9335ad9.html 在HT ...
- mac pro 如何让终端默认运行python3.X而不是2.7
Mac版本的Python默认是2.7,安装高版本后需要修改为你安装的版本. 1,首先打开终端 open ~/.bash_profile 打开配置文件 2. 写入python的外部环境变量(本人的版本是 ...
- Linux下RocketMQ环境的配置
RocketMQ是一款分布式消息系统,最初是由阿里巴巴消息中间件团队研发并大规模应用于生产系统,满足线上海量堆积的需求,在去年捐赠给Apache开源基金会,并列为孵化项目,今年成功的正式成为了apac ...
- Gradle Build Tool
转自知乎: nonesuccess 通俗的说:gradle是打包用的. 你觉得解决你的问题了吗?如果没解决,那是你的问题提得不够好.比如我猜你应该提:为什么要打包发布,打包发布有几种常见方法,为什么这 ...
- 【Zookeeper】源码分析之网络通信(二)之NIOServerCnxn
一.前言 前面介绍了ServerCnxn,下面开始学习NIOServerCnxn. 二.NIOServerCnxn源码分析 2.1 类的继承关系 public class NIOServerCnxn ...
- 基于CentOS体验万象优图鉴黄服务
系统要求:CentOS 7.2 64 位操作系统 初始化配置 使用万象优图图片鉴黄 API 接口,我们需要先完成以下步骤: 获取腾讯云账号 APP ID 配置云 API 公钥/密钥 配置优图 buck ...
- [转]MyEclipse内存不足问题
1.修改eclipse.ini 在Myeclipse安装目录下G:\MyEclipse8.5\Genuitec\MyEclipse 8.5有一个myeclipse.ini配置文件,设置如下: -vma ...