[jjzhu学java]之solr4.9同步mysql数据
Solr是一个高性能,採用Java5开发,基于Lucene的全文搜索server。同一时候对其进行了扩展,提供了比Lucene更为丰富的查询语言,同一时候实现了可配置、可扩展并对查询性能进行了优化,而且提供了一个完好的功能管理界面,是一款很优秀的全文搜索引擎。
能够将数据库中的数据导入到solr中,对于百万级别的数据能够高速响应查询。
1、安装jdk
JDK版本号须要1.7以上
2、安装solr
下载solr压缩包,解压安装包。进入到SOLR_HOME\example文件夹下,执行命令java –jar start.jar启动solr
Solr默认port为8983,訪问http://localhost:8983/solr,若有例如以下界面,则启动成功
3、导入并更新数据相关配置
Solr提供了将数据库数据导入到solr索引库的功能(dataimport)
3.1、下载数据库驱动包
下载mysql的驱动包。并放在{%SOLR_HOME%}contrib\dataimporthandler\lib文件夹下
3.2、配置solrconfig.xml
3.2.1、引用相关库
solrconfig.xml包括了用于配置自身行为的绝大部分參数,其作用范围是当前core。位置在文件文件夹该文件位于{%solr_home%} example\solr\collection1\conf下。
数据导入须要引用mysql的驱动包和DataImport所需的包。
在文件里加入例如以下内容:
<libdir="../../../contrib/dataimporthandler/lib"regex=".*\.jar" />
<lib dir="../../../dist/"regex="solr-dataimporthandler-\d.*\.jar" />
3.2.2、配置requestHandler
在solrconfig.xml中增加例如以下配置:
<requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>
3.3、配置schema.xml
Schema.xml能够灵活的配置不同类型的字段,所在位置与solrconfig.xml同级。
导入数据须要配置与数据库中字段一致的类型,在配置文件里
3.3、配置数据源
在与solrconfig.xml同级文件夹下({%solr_home%}example\solr\collection1\con),建立与3.2.2中配置中同名的数据配置文件data-config.xml,
并加入例如以下内容
<dataConfig>
<!-- driver: 数据库驱动名
url:数据库路径
user:数据库用户
password:数据库密码
batchSize:防止在导入数据过程中内存溢出
-->
<dataSource type="JdbcDataSource"
driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://localhost/exercise"
user="root"
password=""
batchSize="-1"/>
<document>
<!--要导入的表,能够配置多个
并查询出要建立索引的字段
-->
<entity name="customerinfo" query="selectcustomerID,customerName,PID,telephone from customerinfo">
<field column="customerID" name="id"/>
<field column="customerID" name="customerID"/>
<field column="customerName"name="customerName"/>
<field column="PID" name="PID"/>
<field column="telephone" name="telephone"/>
</entity>
</document>
</dataConfig>
4、导入数据
訪问solr界面
Command选择full-import,Entity选择要导入的表,再点击Execute便可导入数据
完毕后会提示索引建立完毕。
然后在Query界面能够输入相关查询条件进行查询
[jjzhu学java]之solr4.9同步mysql数据的更多相关文章
- Logstash使用jdbc_input同步Mysql数据时遇到的空时间SQLException问题
今天在使用Logstash的jdbc_input插件同步Mysql数据时,本来应该能搜索出10条数据,结果在Elasticsearch中只看到了4条,终端中只给出了如下信息 [2017-08-25T1 ...
- 使用Logstash来实时同步MySQL数据到ES
上篇讲到了ES和Head插件的环境搭建和配置,也简单模拟了数据作测试 本篇我们来实战从MYSQL里直接同步数据 一.首先下载和你的ES对应的logstash版本,本篇我们使用的都是6.1.1 下载后使 ...
- 使用logstash同步MySQL数据到ES
使用logstash同步MySQL数据到ES 版权声明:[分享也是一种提高]个人转载请在正文开头明显位置注明出处,未经作者同意禁止企业/组织转载,禁止私自更改原文,禁止用于商业目的. https:// ...
- 推荐一个同步Mysql数据到Elasticsearch的工具
把Mysql的数据同步到Elasticsearch是个很常见的需求,但在Github里找到的同步工具用起来或多或少都有些别扭. 例如:某记录内容为"aaa|bbb|ccc",将其按 ...
- centos7配置Logstash同步Mysql数据到Elasticsearch
Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中.个人认为这款插件是比较稳定,容易配置的使用Logstash之前,我们得明确 ...
- 10.Solr4.10.3数据导入(DIH全量增量同步Mysql数据)
转载请出自出处:http://www.cnblogs.com/hd3013779515/ 1.创建MySQL数据 create database solr; use solr; DROP TABLE ...
- 同步mysql数据到ElasticSearch的最佳实践
Elasticsearch是一个实时的分布式搜索和分析引擎.它可以帮助你用前所未有的速度去处理大规模数据.ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全 ...
- canal同步MySQL数据到ES6.X
背景: 最近一段时间公司做一个技术架构的更改,由于之前使用的solr和目前的业务不太匹配,具体原因不多说啦.所以要把数据放到Elasticsearch中进行快速的搜索,这是便产生了一个数据迁移的需求, ...
- Elasticsearch--Logstash定时同步MySQL数据到Elasticsearch
新地址体验:http://www.zhouhong.icu/post/139 一.Logstash介绍 Logstash是elastic技术栈中的一个技术.它是一个数据采集引擎,可以从数据库采集数据到 ...
随机推荐
- 【转】linux之shfit
位置参数可以用shift命令左移.比如shift 3表示原来的$4现在变成$1,原来的$5现在变成$2等等,原来的$1.$2.$3丢弃,$0不移动.不带参数的shift命令相当于shift 1. 非常 ...
- SQL优化 ASP.NET ADO.NET
原文发布时间为:2009-08-26 -- 来源于本人的百度文章 [由搬家工具导入] 总的考虑方向 1) 根据数据使用的方式来设计数据访问层 2) 缓存数据,避免不必要的操 ...
- VIM的修炼等级
用vim 快两年了 看过教程也不少,总的来说还是得自己多练习,当自己觉得有需要的时候,再添加功能.这里分享个看过的最好的教程,出自贴吧的某个朋友,写的很好 零 学会盲打 壹 配置文件先从最简开始,在 ...
- saltstack 模块学习之 state
入口文件top.sls 三要素环境:通过file-roots指定目标主机:可以使用通配符*配置文件路径:路径分割符为. 比如a.mysql 表示在环境指定的路径下有个a目录,a目录下有个mysql. ...
- Python学习杂记_9_集合操作
集合集合是由花括号括起来的一组数据,特点是“数据不重复”,“无序”,“类型不统一”.其中数据不重复是它最重要的特点,常常用于“去重”操作,Set(list)方法可以把列表强制转换成集合. 集合的一些操 ...
- LeetCode OJ--Binary Tree Zigzag Level Order Traversal *
https://oj.leetcode.com/problems/binary-tree-zigzag-level-order-traversal/ 树的层序遍历 使用两个 stack 或者 vect ...
- android日期时间选择器
android原生的日期时间控件,因为是原生的总有其满足不了我们需求的时候,Android 手机版本那么多,用户弹出来的控件五花八门.因为项目需要,在网上找了一 些demo看了看,感觉有些写的很好,很 ...
- 如何配置tomcat环境变量
首先下载tomcat,并且解压到目录: 注意:2,3步的变量值要到下图这一步 即,bin的上一级目录不包含bin 1.第一步鼠标右键计算机->属性->高级系统设置,进去之后,点击环境变量, ...
- 牛客网 牛客小白月赛1 F.三视图
F.三视图 链接:https://www.nowcoder.com/acm/contest/85/F来源:牛客网 这个题自己想一下三维的,正视图和左视图中y轴为行数,x轴和z轴是列数,因为 ...
- Sharing Cookies --AtCoder
题目描述 Snuke is giving cookies to his three goats.He has two cookie tins. One contains A cookies, and ...