空间数据库系列二：空间索引S2与Z3分析对比

S2与Z3对比分析

• 1. S2
• 2. Geohash
• 3. Geomesa Z3
• 4. S2对比geohash
  • 4.1. geohash存在的问题

  • 4.2. S2优势
  • 4.3. 实际对比例子
• 5. 测试

1.S2

Google S2 被用在Google Map、MongoDB、Foursquare上，用来解决多维空间点索引的问题的。S2主要是把三维空间数据降维为一维UINT64表示的数据。球面上的点S(lat,lng) -> f(x,y,z) -> g(face,u,v) -> h(face,s,t)->cellid(uint64)。球面经纬度坐标转换成球面xyz坐标，再转换成外切正方体投影面上的坐标，再变换成修正后的坐标h(face,s,t)，最后通过希尔伯特曲线变换为64bit的数值。

S2共30级，范围：

2.geohash

Geohash 是一种地理编码，它是一种分级的数据结构，分为12级，把空间划分为网格。Geohash属于二维空间填充曲线中的Z阶曲线的实际应用。

表示范围如下：

3.Geomesa Z3

Z3是geomesa提供的基于三维Z阶填充曲线的索引编码，对经纬度+时间进行编码。所以空间处理上与geohash具有形同特点。

4.S2对比geohash

目前大数据领域处理时空数据的方式是，通过geohash/S2对用户空间或轨迹数据降维为一维字符串，存储到DB（例如hbase）系统里面。查询时，根据给出的范围（用BBOX,DISTANCE表示）等，在geohash/S2上映射出满足对应精度及范围的一组一维range（每组range表示满足条件的cell）。通过这些一维数据的前缀邻近性原则在DB的key上搜索满足条件的解码后二次过滤。

4.1 geohash存在的问题

• geohash邻近点查询是先查找点所在的单元，然后根据所在的单元查询相同level相邻的8个单元，这就意味着需要在我们的DB(Hbase)中查询9个cell范围内的数据，来过滤出来进步二次查询。网格大小选择不好，会引入较大查询。

  

例如：查询离红星最近点，如果Geohash 字符串为6的话，就是蓝色的大格子。紫色的圆点是搜索出来的目标点。如果用 Geohash 算法查询的话，距离比较近的可能是 wtw37p，wtw37r，wtw37w，wtw37m。但是其实距离最近的点就在 wtw37q。如果选择这么大的网格，就需要再查找周围的8个格子。

如果选择 Geohash 字符串为7的话，那变成黄色的小格子。这样距离红星星最近的点就只有一个了

• geohash是按照1-12级把空间划分成cell，不同级别的cell范围从5000KM到3.7cm。不同级别间跳变很大。比如选择字符串长度为4，它对应的 cell 宽度是39.1km，需求可能是50km，那么选择字符串长度为3，对应的 cell 宽度就变成了156km，瞬间又大了3倍了。实际中选择合适的level比较困难。

• geohash范围覆盖时，同样存在level选择上问题，可能用较大的cell覆盖查询范围。

• Z曲线突变性，会导致某些编码相近但是实际距离很远的情况。

4.2.S2优势

• S2 有30级，表示范围从0.7cm² 到 85,000,000km²，中间变化平缓。

• S2主要优势是他的范围覆盖算法。给定一个查询范围以及期望返回的最多网格数，S2就可以返回覆盖查询区域不同等级level的cell，每个cell对应在DB(HBASE)中查询的范围。S2的返回很精确，会减少从DB的读取数据量。

• 功能上：S2提供了较丰富的查询函数。很容易实现distance，多边形范围查询等，以及各种计算面积，距离等处理。参考这里S2 doc

4.3.实际对比例子

采用矩形覆盖巴黎，level 5 9个cell不能覆盖巴黎左边区域，可以增加3个cell，总计12个cell：

大部分算法，采用level 4，9个cell覆盖巴黎，如下：

采用S2算法，9个cell覆盖巴黎与geohash对比如下：

5.测试

在TSDB上实现S2索引存储到Hbase。hbase rowkey格式类似：shard(2B)+days(2B)+z3/S2(8B)+point(4B+4B)+time(8B)+objid

分别对比了S2和Z3，在两个数据集上的表现

• 2400W geo_life

数据说明：182个人三年的GPS活动轨迹。
查询:BBOX[100.21831, 30.0, 127.21831,80.136253] time:[2007-08-04 11:30:32, 2007-08-13 16:32:52]
真实命中11条数据。

数据Z3编码耗时	Z3 BBOX 查询	数据S2编码耗时	S2 BBOX 查询
518ms	Z3索引命中hbase：15309条数据，查询耗时1461ms	1318ms	S2索引命中hbase：15310条，查询耗时877ms

• 100W轨迹数据

数据说明：从[-30，-20]移动到[-20,-10],每秒经纬度移动0.00001，每秒位置记录；特点数据密度大。
查询:BBOX[-25.50, -18.60, -20.00,-15.40] time:[2018-07-14 01:58:15,2018-07-19 20:51:35]
真实命中：10001条数据

100W数据Z3编码耗时	Z3 BBOX 查询	100W数据S2编码耗时	S2 BBOX 查询
1185ms	查询耗时2975ms (Z3索引命中hbase：211400条数据)	518ms	查询耗时375ms (S2索引命中hbase：60969条)

参考

1. geohash在线验证

2. 高效的多维空间点索引算法 — Geohash 和 Google S2