solr的schema.xml配置属性解释
schema.xml做什么?
SOLR加载数据,创建索引和数据时,核心数据结构的配置文件是schema.xml,该配置文件主要用于配置数据源,字段类型定义,搜索类型定义等。schema.xml的配置直接影响搜索结果的准确性与效率。
<types></types>节点
types节点主要用于搜索类型的定义,这里给出常用类型的定义。
1 <fieldType name="string" class="solr.StrField" sortMissingLast="true" /> 2 <fieldType name="boolean" class="solr.BoolField" sortMissingLast="true"/> 3 <fieldtype name="binary" class="solr.BinaryField"/> 4 <fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0"/> 5 <fieldType name="float" class="solr.TrieFloatField" precisionStep="0" positionIncrementGap="0"/> 6 <fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/> 7 <fieldType name="double" class="solr.TrieDoubleField" precisionStep="0" positionIncrementGap="0"/> 8 <fieldType name="tint" class="solr.TrieIntField" precisionStep="8" positionIncrementGap="0"/> 9 <fieldType name="tfloat" class="solr.TrieFloatField" precisionStep="8" positionIncrementGap="0"/>10 <fieldType name="tlong" class="solr.TrieLongField" precisionStep="8" positionIncrementGap="0"/>11 <fieldType name="tdouble" class="solr.TrieDoubleField" precisionStep="8" positionIncrementGap="0"/>12 <fieldType name="date" class="solr.TrieDateField" precisionStep="0" positionIncrementGap="0"/>13 <fieldType name="tdate" class="solr.TrieDateField" precisionStep="6" positionIncrementGap="0"/>14 <fieldType name="pint" class="solr.IntField"/>15 <fieldType name="plong" class="solr.LongField"/>16 <fieldType name="pfloat" class="solr.FloatField"/>17 <fieldType name="pdouble" class="solr.DoubleField"/>18 <fieldType name="pdate" class="solr.DateField" sortMissingLast="true"/>19 <fieldType name="sint" class="solr.SortableIntField" sortMissingLast="true" omitNorms="true"/>20 <fieldType name="slong" class="solr.SortableLongField" sortMissingLast="true" omitNorms="true"/>21 <fieldType name="sfloat" class="solr.SortableFloatField" sortMissingLast="true" omitNorms="true"/>22 <fieldType name="sdouble" class="solr.SortableDoubleField" sortMissingLast="true" omitNorms="true"/>23 <fieldType name="random" class="solr.RandomSortField" indexed="true" />
这里给出的类型有,字符串,bool,int,date等等,基本java常用的都有。下面解释一下各个参数的意思。
name:定义搜索字段名
class:这个搜索字段实际使用的类与方法。在org.appache.solr.analysis包下,包括了常用的类型。
其他可选的属性:
sortMissingLast,sortMissingFirst两个属性是用在可以内在使用String排序的类型上,默认false,适用于字段类型:string,boolean,sint,slong,sfloat,sdouble,pdate。
sortMissingLast="true",没有该field的数据排在有该field的数据之后,而不管请求时的排序规则,在Java中对应的意思就是,该字段为NULL,排在后面。
sortMissingFirst="true",排序规则与sortMissingLast相反。
positionIncrementGap:可选属性,定义在同一个文档中此类型数据的空白间隔,避免短语匹配错误。
在配置中,string类型的class是solr.StrField,而这个字段是不会被分析存储的,也就是说不会被分词。
而对于文章或者长文本来说,我们必须对其进行分词才能保证搜索某些字段时能够给出正确的结果。这时我们就可以用到另外一个class,solr.TextField。它允许用户通过分析器来定制索引和查询,分析器包括一个分词器(tokenizer)和多个过滤器(filter) 。
下面就来看一下中文分词吧,这里用的分词是IK Analyzer 2012。
中文分词
1 <!-- IKAnalyzer2012 --> 2 <fieldType name="text_ika" class="solr.TextField"> 3 <analyzer type="index" positionIncrementGap="100" autoGeneratePhraseQueries="true"> 4 <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="false"/> 5 <!-- <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" /> --> 6 <!-- <filter class="solr.LowerCaseFilterFactory"/> --> 7 </analyzer> 8 <analyzer type="query"> 9 <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="true" />10 <!-- <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" /> -->11 <!-- <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/> -->12 <!-- <filter class="solr.LowerCaseFilterFactory"/> -->13 </analyzer>14 </fieldType>
分词用的依旧是fieldType,为的是在下面的field中能够用到。
有两个analyzer,一个是index,一个是query,index是针对于所有,query是针对于搜索。
可以看到我注掉了两个filter,为什么呢。
先说简单的吧,一个是query中的同义词Filter,solr.SynonymFilterFactory,注掉他是因为当前没有一个庞大的词库能够支撑中文如此复杂的同义词量。
另外一个是忽略大小写的Filter,这个Filter可以根据自己的需要进行添加或删除,在我们的系统中,主要处理中文,这个用处也不大。
还有一个注掉的Filter是停词Filter,这个用处挺大的,为什么注掉呢?因为我感觉他在这里不太合适。
解释一下:停词组件在中文分词中很重要,IK也提供了相对应的配置方法,不仅仅可以处理停词,而且还可以自定义词库。所以,我建议将停词在IK中配置而不是在schema.xml中。
两种方法都说一下:
第一种:在schema.xml中配置,不要注释stopword组件,并将停词文件拷贝至solrHome/core/conf目录下(注意文件的编码方式,至少保证文本文件是UTF-8格式,更加严格的,保证文本文件是无BOM格式的UTF-8编码)。
第二种:在IK配置文件中配置,请下载一个IK分词组件,里面会有一个IKAnalyzer.cfg.xml的配置文件,拷贝到solr项目的源代码根目录下,并将stopword.dic也拷贝到根目录下,如下图所示:

记得要导入IK的Jar包,这样,在你的文件中就可以使用IK提供的中文分词了。
给一个我用的stopword.dic,去下载。
IK也可以自定义词库,这个可以看一下IK的文档,很简单,将你的自定义词库的文件拷贝至根目录,并在IK配置文件中配置即可。
<fields></fields>节点
filed字段用于定义数据源字段所使用的搜索类型与相关设置。
1 <field name="id" type="long" indexed="true" stored="true" multiValued="false" required="true" /> 2 <field name="name" type="text_ika" indexed="true" stored="true" multiValued="false" /> 3 <field name="address" type="text_ika" indexed="true" stored="true" multiValued="false" /> 4 <field name="description" type="text_ika" indexed="true" stored="true" multiValued="false" /> 5 <field name="saturdayMerchant" type="boolean" indexed="true" stored="true" multiValued="false" /> 6 <field name="huiMerchant" type="boolean" indexed="true" stored="true" multiValued="false" /> 7 <field name="bankMerchant" type="boolean" indexed="true" stored="true" multiValued="false" /> 8 <field name="rebate" type="int" indexed="true" stored="true" multiValued="false" /> 9 <field name="valid" type="boolean" indexed="true" stored="true" multiValued="false" />10 <field name="createTime" type="date" indexed="true" stored="true" multiValued="false" />11 <field name="priority" type="int" indexed="true" stored="true" multiValued="false" />12 <field name="telephone" type="string" indexed="true" stored="true" multiValued="false" />13 <field name="city" type="text_ika" indexed="true" stored="true" multiValued="false" />14 <field name="district_id" type="long" indexed="true" stored="true" multiValued="false" />15 <field name="district_name" type="text_ika" indexed="true" stored="true" multiValued="false" />16 <field name="merchantCategory_id" type="long" indexed="true" stored="true" multiValued="false" />17 <field name="merchantCategory_name" type="text_ika" indexed="true" stored="true" multiValued="false" />18 <field name="bank_id" type="long" indexed="true" stored="true" multiValued="true" />19 <field name="bank_name" type="text_ika" indexed="true" stored="true" multiValued="true" />20 21 <field name="all" type="text_ika" indexed="true" stored="false" multiValued="true" />
name:数据源字段名,搜索使用到。
type:搜索类型名例如中文ika搜索名text_ika,对应于fieldType中的name。不需要分词的字符串类型,string即可,如果需要分词,用上面配置好的分词type。
indexed:是否被索引,只有设置为true的字段才能进行搜索排序分片(earchable, sortable, facetable)。
stored:是否存储内容,如果不需要存储字段值,尽量设置为false以提高效率。
multiValued:是否为多值类型,SOLR允许配置多个数据源字段存储到一个搜索字段中。多个值必须为true,否则有可能抛出异常。
copyField节点
如果我们的搜索需要搜索多个字段该怎么办呢?这时候,我们就可以使用copyField。代码如下:
1 <copyField source="name" dest="all" />2 <copyField source="address" dest="all" />3 <copyField source="description" dest="all" />4 <copyField source="city" dest="all" />5 <copyField source="district_name" dest="all" />6 <copyField source="merchantCategory_name" dest="all" />7 <copyField source="bank_name" dest="all" />
我们将所有的中文分词字段全部拷贝至all中,当我们进行全文检索是,只用搜索all字段就OK了。
注意,这里的目标字段必须支持多值,最好不要存储,因为他只是做搜索。indexed为true,stored为false。
copyField节点和field节点都在fields节点之内。
问题又来了,如果需要根据不同的重要性进行区分,例如name的重要性比address大,该怎么办呢,后面再说这个问题。
uniqueKey节点
solr必须设置一个唯一字段,常设置为id,此唯一一段有uniqueKey节点指定。
例如:
1 <uniqueKey>id</uniqueKey>
defaultSearchField节点
默认搜索的字段,我们已经将需要搜索的字段拷贝至all字段了,在这里设为all即可。
1 <defaultSearchField>all</defaultSearchField>
solrQueryParser节点
默认搜索操作符参数,及搜索短语间的逻辑,用AND增加准确率,用OR增加覆盖面,建议用AND,也可在搜索语句中定义。例如搜索“河西 万达”,使用AND默认搜索为“河西AND万达“。
1 <solrQueryParser defaultOperator="OR"/>
solr的schema.xml配置属性解释的更多相关文章
- 指尖上的电商---(5)schema.xml配置具体解释
这一节我们看下schema.xml文件中各个节点的配置极其作用.schema.xml文件中面主要定义了索引数据类型,索引字段等信息. 主要包含了下面节点 1.fieldtype节点 fieldtype ...
- Solr中Schema.xml中文版
<?xml version="1.0" encoding="UTF-8" ?> <!-- Licensed to the Apache Sof ...
- SOLR企业搜索平台 三 (schema.xml配置和solrj的使用)
标签:solrj 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://3961409.blog.51cto.com/3951409/8 ...
- solr官方文档翻译系列之schema.xml配置介绍
常见的元素 <field name="weight" type="float" indexed="true" stored=" ...
- Solr中schema.xml的解释
接Solr-4.10.2与Tomcat整合.schema.xml位于D:\solr\data\solr\collection1\conf\中.1.fieldType节点 name: FieldT ...
- SUSE12SP3-Mycat(2)Schema.xml配置详解
简介 Schema.xml 作为 MyCat 中重要的配置文件之一,管理着 MyCat 的逻辑库.表.分片规则.DataNode 以及 DataSource.弄懂这些配置,是正确使用 MyCat 的前 ...
- Solr配置文件 schema.xml
1 添加自己的分词器(mmseg4j) 意思是textCommplex 这个类型,用的是 com.chenlb.mmseg4j.solr.MMSegTokenizerFactory 这个分词器,词库是 ...
- solr schema.xml Field属性详解
<field name="id" type="string" indexed="true" stored="true&quo ...
- solr schema.xml配置
solr使用_version_来做文档的版本控制和修改时加锁(乐观锁) <field name="_version_" type="long" index ...
随机推荐
- 太白老师day6 1.代码块 2.is==id 3.小数据池
1.代码块: 一个模块一个函数一个类,一个文件都是代码块 在交互模式下, 每一行都是一个代码块 2. is == 内存地址 就是id门牌号 在内存中id是唯一,如果两个变量指向的id相同,那么他们在内 ...
- Oracle表结构转Mysql表结构
1. fnc_table_to_mysql 主体程序 create or replace function fnc_table_to_mysql ( i_owner in string, i_tabl ...
- 1001.害死人不偿命的(3n+1)猜想
题目截图: 思路: 简单模拟.具体见另一篇博客. 代码: /* 1001.害死人不偿命的(3n+1)猜想 */ #include <stdio.h> #include <string ...
- 用jQuery获取table中行id和td值
<%@ page language="java" pageEncoding="UTF-8"%> <% String path = reques ...
- <mvc:annotation-driven />讲解
<mvc:annotation-driven />是一种简写形式,完全可以手动配置替代这种简写形式,简写形式可以让初学者快速应用默认配置方案.<mvc:annotation-driv ...
- MySQL数据库篇之数据类型
主要内容: 一.数值类型 二.日期类型 三.字符串类型 四.枚举类型与集合类型 1️⃣ 数值类型 1.整数类型:tinyint smallint mediumint int bigint 作用 ...
- Excel VBA 获取按钮对象
今天给同事写了两个VBA宏,并分别把宏赋给了两个按钮. 因为两个宏都是实现在两种显示方式之间切换,于是我想除了功能的实现外,还希望在切换到其中一种方式时,按钮上面的文字也可以跟着改变,起到提示作用. ...
- Spark之 使用SparkSql操作Hive的Scala程序实现
依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2 ...
- BarcodeLib -- 一个精简而不失优雅的条形码生成库
BarcodeLib -- 一个精简而不失优雅的条形码生成库 引言 在百度进行“C# 条形码”等类似关键字搜索的时候,基本上是使用 ZXing 类库进行条形码的生成.今天我所介绍的是另一款类库 Bar ...
- 对称二叉树 · symmetric binary tree
[抄题]: Given a binary tree, check whether it is a mirror of itself (ie, symmetric around its center). ...