zombodb 数据类型映射
zombodb 与es 数据类型的映射处理
- 通用数据类型映射
Postgres 类型 | Elasticsearch JSON 映射定义 |
---|---|
bytea |
{"type": "binary"} |
boolean |
{"type": "boolean"} |
smallint |
{"type": "short"} |
integer |
{"type": "integer"} |
bigint |
{"type": "long"} |
real |
{"type": "float"} |
double precision |
{"type": "double"} |
character varying |
{"type": "keyword", "copy_to": "zdb_all", "normalizer": "lowercase", "ignore_above": 10922} |
text |
{"type": "text", "copy_to": "zdb_all", "analyzer": "zdb_standard", "fielddata": true} |
time without time zone |
{"type": "date", "format": "HH:mm:ss.SSSSSS", "copy_to": "zdb_all"} |
time with time zone |
{"type": "date", "format": "HH:mm:ss.SSSSSSZZ", "copy_to": "zdb_all"} |
date |
{"type": "date", "copy_to": "zdb_all"} |
timestamp without time zone |
{"type": "date", "copy_to": "zdb_all"} |
timestamp with time zone |
{"type": "date", "copy_to": "zdb_all"} |
json |
{"type": "nested", "include_in_parent": true} |
jsonb |
{"type": "nested", "include_in_parent": true} |
inet |
{"type": "ip", "copy_to": "zdb_all"} |
zdb.fulltext |
{"type": "text", "copy_to": "zdb_all", "analyzer": "zdb_standard"} |
zdb.fulltext_with_shingles |
{"type": "text", "copy_to": "zdb_all", "analyzer": "fulltext_with_shingles", "search_analyzer": "fulltext_with_shingles_search"} |
- 说明
character varying (varchar) 没有被es 分词,整个值是被索引的,同时转换为小写
text 类型es 使用标准分析器,同时被转换为小写
json/jsonb 映射为es 的 nested对象
zombodb 自定义的领域类型
- zdb.fulltext 和text 类似,但可以为客户端应用程序提供额外的元数据信息,表明该列可能包含大量内容
- zdb.fulltext_with_shingles 与zdb.fulltext 类型 ,但是通过
2-gram single filter
支持高速的右截断通配符
特定语言类型
支持包好各类语言的支持
自定义分析器
zombodb 支持基于sql 扩展灵活的分析器、、过滤器
- 分析器函数定义
FUNCTION zdb.define_analyzer(name text, definition json)
- 使用说明
为了使用自定义分析器你同时必须自定义使用相同名称的pg domain
然后在表中作为列使用,同时
你也可以和自定义字段映射依赖使用通过zdb.define_field_mapping()
函数,注意修改任何分析器需要
重建索引 - token 过滤器
FUNCTION zdb.define_filter(name text, definition json)
- character 过滤器
FUNCTION zdb.define_char_filter(name text, definition json)
- tokenizer
FUNCTION zdb.define_tokenizer(name text, definition json)
- normalizer
FUNCTION zdb.define_normalizer(name text, definition json)
- type 映射
FUNCTION zdb.define_type_mapping(type_name regtype, definition json)
特定字段的映射函数
除过domain type 映射pg type 到es 分析器,我们同时也可以定义表或者表中字段的映射,
注意修改字段的映射需要重建索引
- 方法签名
FUNCTION zdb.define_field_mapping(table_name regclass, field_name text, definition json)
- 一个特殊映射函数
比较适合处理只在es 索引中存在的,比如映射到copy_to 属性
FUNCTION zdb.define_es_only_field(table_name regclass, field_name text, definition json)
参考例子
- 代码
注意官方create index部分有点问题,我添加了url 参数,实际使用可以参考github 项目,有基于docker-compose 的代码
SELECT zdb.define_tokenizer('example_tokenizer', '{
"type": "pattern",
"pattern": "_"
}');
SELECT zdb.define_analyzer('example', '{
"tokenizer": "example_tokenizer"
}');
CREATE DOMAIN example AS text;
CREATE TABLE foo (
id serial8,
some_field example
);
CREATE INDEX idxfoo ON foo USING zombodb ((foo.*))
WITH (url='http://elasticsearch:9200/');
INSERT INTO foo (some_field) VALUES ('this_is_a_test');
SELECT * FROM foo WHERE foo ==> 'some_field:this';
测试分析器
zombodb 内置了一些函数方便我们进行分析器的测试
- 内置分析器分析函数签名
FUNCTION zdb.analyze_with_field(
index regclass,
field text,
text text)
RETURNS TABLE (
type text,
token text,
"position" int,
start_offset int,
end_offset int)
- 参考例子
SELECT * FROM zdb.analyze_with_field('idxproducts', 'keywords', 'this is a test');
type | token | position | start_offset | end_offset
------+----------------+----------+--------------+------------
word | this is a test | 0 | 0 | 14
(1 row)
es _all
字段说明
zombodb 禁止了es 的_all
字段使用了自己的字段命名 zdb_all
,默认所有非数字的类型字段都添加到了zdb_all
参考资料
https://github.com/zombodb/zombodb/blob/master/TYPE-MAPPING.md
https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-custom-analyzer.html
https://www.cnblogs.com/rongfengliang/p/10638334.html
zombodb 数据类型映射的更多相关文章
- [转]jni数据类型映射、域描述符说明
在Java存在两种数据类型: 基本类型 和 引用类型 ,大家都懂的 . 在JNI的世界里也存在类似的数据类型,与Java比较起来,其范围更具严格性,如下: 1.primitive types ---- ...
- Oracle 数据类型映射C#
Oracle 数据类型映射 下表列出 Oracle 数据类型及其与 OracleDataReader 的映射. Oracle 数据类型 由 OracleDataReader.GetValue 返回的 ...
- SQL Server 数据类型映射 (ADO.NET)
SQL Server 数据类型映射 (ADO.NET) .NET Framework 3.5 更新:November 2007 SQL Server 和 .NET Framework 基于不同的类型系 ...
- JNI实战(三):JNI 数据类型映射
在JNI实战(二):Java 调用 C 我们了解了JNI的静态注册和动态注册.也知道我们应该使用动态注册来进行JNI函数与Java方法之间的映射. 示例的映射表的数组为如下: static JNINa ...
- SQL Server 数据类型映射(转载)
SQL Server 数据类型映射 SQL Server 和 .NET Framework 基于不同的类型系统. 例如,.NET Framework Decimal 结构的最大小数位数为 28,而 S ...
- SQL Server 与 ADO.NET 数据类型映射
SQL Server 数据类型映射 .NET Framework 4.5 SQL Server 和 .NET Framework 基于不同的类型系统. 例如,.NET Framework Decima ...
- 006android初级篇之jni数据类型映射
JNI是Java Native Interface的缩写,它提供了若干的API实现了Java和其他语言的通信(主要是C&C++) 使用JNI的副作用 一旦使用JNI,JAVA程序就丧失了JAV ...
- Razor视图引擎布局 Razor视图引擎的基本概念与法语 SQL Server Mobile 和 .NET 数据访问接口之间的数据类型映射 binary 和 varbinary datetime 和 smalldatetime float 和 real
Razor视图引擎布局 不需要像过去aspx一样,使用.Master文件,而是统一使用.cshtml 或 .vbhtml文件.但文件名一般以 _开头,这样做文件不会当做View显示出来 使用@Re ...
- JNI学习积累之二 ---- 数据类型映射、域描述符说明
本文原创,转载请注明出处:http://blog.csdn.NET/qinjuning 在Java存在两种数据类型: 基本类型 和 引用类型 ,大家都懂的 . 在JNI的世界里也存在类似的数据类型,与 ...
随机推荐
- 廖雪峰 JavaScript 学习笔记(字符串、数组和对象)
字符串 1.和python一样,也是用' '或" "括起来的字符表示.但多行字符串是用反引号(esc下键)``,与之相对的是Python用''' '''三引号表示: 2.转义字符: ...
- Spring中 @Autowired标签与 @Resource标签
spring不但支持自己定义的@Autowired注解,还支持由JSR-250规范定义的几个注解,如:@Resource. @PostConstruct及@PreDestroy. @Autowired ...
- 改写element-ui中的日期组件
如果你想实现一个自定义的日期组件规则如下:日期组件未点开前左右两边有前一天后一天控制箭头,且前一天后一天有数据时才显示箭头,没有数据时,快速切换箭头隐藏.当日期组件点开后,有数据的天为可点击状态,无数 ...
- Strut2页面传参跳转 --Struts2
1.本案例借助struts2框架,完成页面传参.跳转功能 2.代码实现 index.jsp: <form action="helloStruts2.action" metho ...
- 『TensorFlow』SSD源码学习_其七:损失函数
Fork版本项目地址:SSD 一.损失函数介绍 SSD损失函数分为两个部分:对应搜索框的位置loss(loc)和类别置信度loss(conf).(搜索框指网络生成的网格) 详细的说明如下: i指代搜索 ...
- oracle连接数据库和连接表的操作
1.连接测试是否连接oracle成功 (1).tnsnames.ora文件配置 oracle65= (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCO ...
- Highcharts 时间格式化函数
1.函数构造: Highcharts.dateFormat(String format, [Number time], [Boolean capitalize]) 2.参数列表: Strin ...
- centos安装ruby
下面开始安装Ruby 一.下载Ruby源码包 wget ftp://ftp.ruby-lang.org/pub/ruby/2.1/ruby-2.1.7.tar.gz 二.解压安装Ruby tar zx ...
- 在Linux终端安装Julia
官方参考文档:https://julialang.org/downloads/platform.html#generic-binaries 一.centos终端安装 打开Linux终端输入 sudo ...
- fastTime从后台传过来显示格式的处理
1.可以在控制台用syso查看 QuestionFeedbackView qfv = on_LineManageService.getBringupHead(projectNo);//qfv是一个内含 ...