尚未成功启动solr的,请参考我的另一篇文章:http://www.cnblogs.com/zhuwenjoyce/p/6506359.html(solr6.4.1 搜索引擎启动eclipse启动)
本篇文章主要介绍如何同步mysql数据库
 
添加core命名为core3(之前试验了好几个都失败了…)
注意,这里的两个输入框*Dir如果不指定目录,那么默认这个core3目录将应该在solrhome根目录下,instanceDir和dataDir必须是两个已存在的目录
我这里的core3目录是D:\solr\solrhome\core3(这个core3目录也要先建立出来)
 
先不要点击按钮Add Core,因为会报错:
Error CREATEing SolrCore 'core3': Unable to create core [core3] Caused by: Can't find resource 'solrconfig.xml' in classpath or 'D:\solr\core3'
为了避免这个错误,我们首先需要为这个core3做一些准备工作,包括要把Add Core中的solrconfig.xml和schema.xml文件都创建出来。主要分为以下几步:
第一步:创建solrconfig.xml
因为是同步数据库,所以找的是db目录下的solrconfig.xml, D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\solrconfig.xml
(上图工具使用的是一个windows搜索器:Everything.exe)
复制D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\solrconfig.xml黏贴到D:\solr\solrhome\core3目录下。
修改D:\solr\solrhome\core3\solrconfig.xml,把<lib dir= 标签这7个节点里的${solr.install.dir:../../../..}替换为本地solr根目录D:/solr/solr-6.4.1
第二步:创建db-data-config.xml
因为在D:\solr\solrhome\core3\solrconfig.xml中,提到使用db-data-config.xml来导入数据
所以同理,复制db目录下的db-data-config.xml到D:\solr\solrhome\core3\目录下
重点1:db-data-config.xml中,url地址中的&符号必须替换为&amp;否则会报错:
Data Config problem: 对实体 "useUnicode" 的引用必须以 ';' 分隔符结尾。
以下是我本地的db-data-config.xml文件
重点2:所有field标签的name值都必须存在于schema.xml中!(参考第三步:创建schema.xml)
第三步:创建schema.xml
复制D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\managed-schema黏贴为D:\solr\solrhome\core3\schema.xml,这个schema.xml就是Add Core界面的schema文件。
重点1:schema.xml文件定义了所有我们需要在数据库中同步过来的字段,其中db-data-config.xml中导入的字段必须要存在于该schema.xml中所以schema.xml文件决定了在整个solr应用中,所有的字段必须不能重复!建议在solr中对字段命名时采用表名_字段名方式。
重点2:schema.xml文件中所有的<field标签中required="true"属性标志着你所有在solr中的查询都必须有一个字段是这些字段,而且必须有值,否则报错:SolrException missing required field: id
重点3:当点击Add Core按钮之后,原先的D:\solr\solrhome\core3\schema.xml文件将被删除,随之增加D:\solr\solrhome\core3\conf\managed-schema(注意,没有后缀名)
以下是我本地的managed-schema文件

注意,不要缺失<uniqueKey>w10_id</uniqueKey>标签,否则会报错:

core3: org.apache.solr.common.SolrException:org.apache.solr.common.SolrException: QueryElevationComponent requires the schema to have a uniqueKeyField.
第四步:复制stopwords_*.txt文件到D:\solr\core3\lang\目录下
所有的D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\lang\stopwords_*.txt文件
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\lang\stopwords_el.txt
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\lang\stopwords_en.txt
it;id;hy;lv;hu;pt;tr;de;hi;da;cz;th;sv; 等等txt文件,总共有31个
第五步:复制以下文件到D:\solr\core3\lang\目录下
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\lang\contractions_it.txt
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\lang\contractions_ca.txt
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\lang\contractions_ga.txt
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\lang\contractions_fr.txt
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\lang\hyphenations_ga.txt
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\lang\stemdict_nl.txt
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\lang\stoptags_ja.txt
第六步:复制elevate.xml到conf目录下
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\elevate.xml复制到D:\solr\core3\conf
第七步:复制以下文件到D:\solr\core3\目录下
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\protwords.txt
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\synonyms.txt
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\stopwords.txt
D:\solr\solr-6.4.1\example\example-DIH\solr\db\conf\currency.xml
第八步:重启tomcat,访问solr,增加core
增加一个core就相当于增加了一个数据库,solr本就支持数据库集群,支持以json格式存储数据
点击Core Admin菜单,输入core信息,点击Add Core按钮:
建立成功之后可以查看core3的位置信息:
ps: 如果启动过程中有遇到*.lock文件而报错,那么删除该lock文件重新建立一遍既可成功。
 
第九步:gui界面导入mysql数据库
下拉框选择刚刚建立的core3,选中Dataimport菜单
先检查core3加载的db-data-config.xml文件是否有效,点击Reload按钮校验,当出现信息No information available时则表示校验通过。
初次导入选择full-import全量导入模式,点击Execute按钮执行数据导入,页面右边显示Indexing since则表示正在导入中,在导入过程中,点击Refresh Status则会显示详细的导入信息(Requests,Fetched,Skipped),如下图右图所示:
如果导入失败,需要重来一遍,在选择勾选clean选项(清除之前所有导入索引)外,也可以考虑直接删除数据文件,地址在core3根目录下,有个data文件夹:D:\solr\solrhome\core3\data。

注意勾选上选项 Auto-Refresh Status,这个会自动帮你刷新数据导入状态信息,信息大概变化如下:

请求第一个entity,我这里是w10,数据10万量的表

请求第二个entity,我这里是w100, 数据100万量的表

 请求第三个entity,我这里是w1000, 数据1000万量的表
导入成功后,信息界面显示如下:
数据导入成solr索引成功,总共花费了5分钟06秒。这时候就可以去掉勾选项Auto-Refresh Status
 
第十步:gui界面查看导入数据
选择core3,点击菜单Query,什么查询条件都不要加,点击Execute Query按钮
查询出solr同步数据如下,表示同步mysql数据成功:
 
上图中,http地址表示此次查询可以使用这样的get请求方式,其中status 0 表示查询成功,params表示此次查询使用的查询参数。这里显示的全都是默认值。response里的数据代表查询到的数据,可以看到已经查询成功。
 
 第十一步:solr数据状态

选择core4,点击overview,当在tomcat重启后,有可能出现上图中的optimize now,并且Optimized状态显示为叉叉,这是solr在告诉你这个core4的数据索引并没有按照solr的索引排序以达到最佳查询状态,只需要点击optimize now进行索引重新排序就可以了。

但是注意,这需要花费一定时间,所以会损失性能,当然,重新排序后,性能会提高。

 
 
 
 

solr6.4.1搜索引擎(2)首次同步mysql数据库的更多相关文章

  1. solr6.4.1搜索引擎(3)增量同步mysql数据库

    尚未实现首次同步mysql数据库的,请参考我的另一篇文章http://www.cnblogs.com/zhuwenjoyce/p/6512378.html(solr6.4.1搜索引擎同步mysql数据 ...

  2. solr6.4.1搜索引擎同步mysql数据库

    尚未成功启动solr的,请参考我的另一篇文章:http://www.cnblogs.com/zhuwenjoyce/p/6506359.html(solr6.4.1 搜索引擎启动eclipse启动) ...

  3. Logstash同步mysql数据库信息到ES

    @font-face{ font-family:"Times New Roman"; } @font-face{ font-family:"宋体"; } @fo ...

  4. 使用canal增量同步mysql数据库信息到ElasticSearch

    本文介绍如何使用canal增量同步mysql数据库信息到ElasticSearch.(注意:是增量!!!) 1.简介 1.1 canal介绍 Canal是一个基于MySQL二进制日志的高性能数据同步系 ...

  5. 使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch

    本文介绍如何使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch. 1.go-mysql-elasticsearch简介 go-mysql-elasti ...

  6. 使用logstash同步mysql数据库信息到ElasticSearch

    本文介绍如何使用logstash同步mysql数据库信息到ElasticSearch. 1.准备工作 1.1 安装JDK 网上文章比较多,可以参考:https://www.dalaoyang.cn/a ...

  7. Elasticsearch学习(2) windows环境下Elasticsearch同步mysql数据库

    在上一章中,我们已经能够通过spring boot来使用Elasticsearch,但是由于我们习惯性的将数据写入mysql,所以为了解决这个问题,Elasticsearch为我们提供了一个插件log ...

  8. 如何通过 Docker 部署 Logstash 同步 Mysql 数据库数据到 ElasticSearch

    在开发过程中,我们经常会遇到对业务数据进行模糊搜索的需求,例如电商网站对于商品的搜索,以及内容网站对于内容的关键字检索等等.对于这些高级的搜索功能,显然数据库的 Like 是不合适的,通常我们采用 E ...

  9. django无法同步mysql数据库 Error:1064

    [问题] 具体问题:新建django工程,使用django的manage.py的 migrate命令进行更改. 在初始化数据库表时,失败,错误信息为 django.db.migrations.exce ...

随机推荐

  1. mysql 取年、月、日、时间

    select id, phone,time,year(time),month(time), DAY(time),TIME(time) from user where phone='xxxxxx' #分 ...

  2. SAP发布REST/HTTP接口

    1.SE24新建类:ZCL_REST_QUERY 激活,然后添加interface:IF_HTTP_EXTENSION并激活. 2.实现IF_HTTP_EXTENSION~HANDLE_REQUEST ...

  3. Hadoop 2.7.4 HDFS+YRAN HA部署

    实验环境 主机名称 IP地址 角色 统一安装目录 统一安装用户 sht-sgmhadoopnn-01 172.16.101.55 namenode,resourcemanager /usr/local ...

  4. 1、安装Angular-CLI脚手架工具

    依赖环境的安装 1.安装node.js(版本在6以上) 查看版本号:node -v 2.安装npm(npm会随着node的安装一起被安装) 3.安装Python(我安装的是2.7.14),要安装环境变 ...

  5. Oracle单机Rman笔记[1]---环境准备

    A.-----安装程序准备---- 1.拷贝oracle安装包到一个目录下 2.检查并修改hostname /etc/sysconfig/network中的hostname要与/etc/hosts中的 ...

  6. Android 音视频深入 十三 OpenSL ES 制作音乐播放器,能暂停和调整音量(附源码下载)

    项目地址https://github.com/979451341/OpenSLAudio OpenSL ES 是基于NDK也就是c语言的底层开发音频的公开API,通过使用它能够做到标准化, 高性能,低 ...

  7. private、public、protected和默认

    类中的域最好标记为private: 方法最好标记为public: private:仅对本类可见 public:对所有类可见 protected:对本包和对所有子类可见 默认(什么都不写):对本包可见 ...

  8. webApp总结

    有关Meta 基本Meta <!-- 设置缩放 --> <meta name="viewport" content="width=device-widt ...

  9. java面向对象编程(一)-类与对象

    1.问题的提出      张老太养了两只猫猫:一只名字叫小白,今年3岁,白色.还有一只叫小花,今年100岁,花色.请编写一个程序,当用户输入小猫的名字时,就显示该猫的名字,年龄,颜色.如果用户输入的小 ...

  10. 51单片机数据类型int,float,指针所占字节数

    1.int===2个字节 2.sfr===特殊功能寄存器,也是一种扩充数据类型,占用1个内存单元,利用它可以访问51单片机内的所有特殊功能寄存器. sfr P1 = 0x90;/////////这一句 ...