zombodb 数据类型映射

zombodb 与es 数据类型的映射处理

• 通用数据类型映射

Postgres 类型	Elasticsearch JSON 映射定义
bytea	{"type": "binary"}
boolean	{"type": "boolean"}
smallint	{"type": "short"}
integer	{"type": "integer"}
bigint	{"type": "long"}
real	{"type": "float"}
double precision	{"type": "double"}
character varying	{"type": "keyword", "copy_to": "zdb_all", "normalizer": "lowercase", "ignore_above": 10922}
text	{"type": "text", "copy_to": "zdb_all", "analyzer": "zdb_standard", "fielddata": true}
time without time zone	{"type": "date", "format": "HH:mm:ss.SSSSSS", "copy_to": "zdb_all"}
time with time zone	{"type": "date", "format": "HH:mm:ss.SSSSSSZZ", "copy_to": "zdb_all"}
date	{"type": "date", "copy_to": "zdb_all"}
timestamp without time zone	{"type": "date", "copy_to": "zdb_all"}
timestamp with time zone	{"type": "date", "copy_to": "zdb_all"}
json	{"type": "nested", "include_in_parent": true}
jsonb	{"type": "nested", "include_in_parent": true}
inet	{"type": "ip", "copy_to": "zdb_all"}
zdb.fulltext	{"type": "text", "copy_to": "zdb_all", "analyzer": "zdb_standard"}
zdb.fulltext_with_shingles	{"type": "text", "copy_to": "zdb_all", "analyzer": "fulltext_with_shingles", "search_analyzer": "fulltext_with_shingles_search"}

• 说明

character varying (varchar) 没有被es 分词，整个值是被索引的，同时转换为小写
text 类型es 使用标准分析器，同时被转换为小写
json/jsonb 映射为es 的 nested对象

zombodb 自定义的领域类型

• zdb.fulltext 和text 类似，但可以为客户端应用程序提供额外的元数据信息，表明该列可能包含大量内容
• zdb.fulltext_with_shingles 与zdb.fulltext 类型 ，但是通过2-gram single filter 支持高速的右截断通配符

特定语言类型

支持包好各类语言的支持

自定义分析器

zombodb 支持基于sql 扩展灵活的分析器、、过滤器

• 分析器函数定义

FUNCTION zdb.define_analyzer(name text, definition json)

• 使用说明
  为了使用自定义分析器你同时必须自定义使用相同名称的pg domain 然后在表中作为列使用，同时
  你也可以和自定义字段映射依赖使用通过zdb.define_field_mapping() 函数，注意修改任何分析器需要
  重建索引
• token 过滤器

FUNCTION zdb.define_filter(name text, definition json)

• character 过滤器

FUNCTION zdb.define_char_filter(name text, definition json) 

• tokenizer

FUNCTION zdb.define_tokenizer(name text, definition json)

• normalizer

FUNCTION zdb.define_normalizer(name text, definition json) 

• type 映射

FUNCTION zdb.define_type_mapping(type_name regtype, definition json)

特定字段的映射函数

除过domain type 映射pg type 到es 分析器，我们同时也可以定义表或者表中字段的映射,
注意修改字段的映射需要重建索引

• 方法签名

FUNCTION zdb.define_field_mapping(table_name regclass, field_name text, definition json) 

• 一个特殊映射函数
  比较适合处理只在es 索引中存在的，比如映射到copy_to 属性

FUNCTION zdb.define_es_only_field(table_name regclass, field_name text, definition json)

参考例子

• 代码

  注意官方create index部分有点问题，我添加了url 参数，实际使用可以参考github 项目，有基于docker-compose 的代码

SELECT zdb.define_tokenizer('example_tokenizer', '{
          "type": "pattern",
          "pattern": "_"
        }');
SELECT zdb.define_analyzer('example', '{
          "tokenizer": "example_tokenizer"
        }');
CREATE DOMAIN example AS text;
CREATE TABLE foo (
   id serial8,
   some_field example
);
CREATE INDEX idxfoo ON foo USING zombodb ((foo.*))
 WITH (url='http://elasticsearch:9200/');
INSERT INTO foo (some_field) VALUES ('this_is_a_test');
SELECT * FROM foo WHERE foo ==> 'some_field:this';

测试分析器

zombodb 内置了一些函数方便我们进行分析器的测试

• 内置分析器分析函数签名

FUNCTION zdb.analyze_with_field(
 index regclass,
 field text,
 text text)
RETURNS TABLE (
 type text,
 token text,
 "position" int,
 start_offset int,
 end_offset int)

• 参考例子

SELECT * FROM zdb.analyze_with_field('idxproducts', 'keywords', 'this is a test');
 type | token | position | start_offset | end_offset
------+----------------+----------+--------------+------------
 word | this is a test | 0 | 0 | 14
(1 row)

es _all 字段说明

zombodb 禁止了es 的_all 字段使用了自己的字段命名 zdb_all,默认所有非数字的类型字段都添加到了zdb_all

参考资料

https://github.com/zombodb/zombodb/blob/master/TYPE-MAPPING.md
https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-custom-analyzer.html
https://www.cnblogs.com/rongfengliang/p/10638334.html