solr dataimport
solrconfig.xml
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
<str name="df">text</str>
</lst>
</requestHandler>
solrconfig.xml同一个目录下增加 data-config.xml 文件
<dataConfig>
<dataSource type="JdbcDataSource" name="ds-1"
driver="com.microsoft.sqlserver.jdbc.SQLServerDriver"
url="jdbc:sqlserver://localhost;databaseName=My_DB;responseBuffering=adaptive;"
user="you name"
password="you password"/>
<dataSource type="JdbcDataSource" name="ds-2"
driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://db2-host/dbname"
user="db_username"
password="db_password"/>
<dataSource type="FileDataSource" name="ds-3" encoding="UTF-8" /> <document>
<!--add filed for match sql column to solr column-->
<entity name="product" dataSource="ds-1"
query="select top 1 * from Product"
transformer="RegexTransformer,DateFormatTransformer" >
<field column="Id" name="id"/>
<entity name="productCategory" dataSource="ds-1"
query="select top 1 * from Code_Category_Product
Where Id=${product.CategoryId}">
<field column="Id" name="categoryid"/>
<field column="Description" name="category"/>
</entity>
<field column="Name" name="name" />
<field column="Description" name="description" />
<field column="UnitPrice" name="unitprice"/>
<field column="Status" name="status"/>
<field column="CreatedTime" name="createdtime" dateTimeFormat="M/d/yyyy h:m:s a"/>
<field column="Name" regex=".*Product1" name="name_py" />
</entity> <!--atch sql column to solr column in the sql query-->
<entity name="product2" dataSource="ds-1"
query="select Id as id,
CategoryId,
Name as name,
Description as description,
UnitPrice as unitprice,
Status as status,
CreatedTime as createdTime from Product
Where Id=10000000002">
<entity name="productCategory" dataSource="ds-1"
query="select top 1 * from Code_Category_Product
Where Id=${product2.CategoryId}">
<field column="Id" name="categoryid"/>
<field column="Description" name="category"/>
</entity>
</entity> <entity name="product3" dataSource="ds-3"
processor="XPathEntityProcessor"
stream="true"
forEach="/products/product | /products/item"
url="D:\Solr\solr-NewRMS\example\conf\products.xml"
transformer="RegexTransformer,DateFormatTransformer" >
<field column="id" xpath="/products/product/id" />
<field column="name" xpath="/products/product/@name" />
<field column="name_py" xpath="/products/product/name_py" />
<field column="createdtime" xpath="/products/product/createdtime" dateTimeFormat="yyyy-MM-dd'T'hh:mm:ss'Z'" />
<field column="tag" xpath="/products/product/tag" splitBy=","/>
<field column="description" regex="/products/product/description" />
</entity> </document>
</dataConfig>
data-config.xml同一个目录下增加 products.xml
<products>
<product name="product1001">
<id>1001</id>
<createdtime>2011-11-07T17:05:14</createdtime>
<description><![CDATA[this is 1001 desc]]></description>
<tag>tag11,tag22</tag>
</product>
<product name="product1002">
<id>1002</id>
<name_py>是</name_py>
<createdtime>2012-11-07T17:05:14</createdtime>
<description><![CDATA[this is 1002 description]]></description>
<tag>tag1</tag>
<tag>tag2</tag>
</product>
</products>
数据库:Product


如果不想把之前的数据清除 取消 Clean 选项
在Entity中选择运行项
点击Execute, 一段时间后点击Refresh Status查看运行结果
可以去Query中查看是否已经插入数据

solr dataimport的更多相关文章
- Solr学习笔记之3、Solr dataimport - 从SQLServer导入数据建立索引
Solr学习笔记之3.Solr导入SQLServer数据建立索引 一.下载MSSQLServer的JDBC驱动 下载:Microsoft JDBC Driver 4.0 for SQL Server ...
- 威胁快报|Solr dataimport成挖矿团伙新型利用方式
概述 近日,阿里云安全团队监测到挖矿团伙利用solr dataimport RCE(CVE-2019-0193)作为新的攻击方式对云上主机进行攻击,攻击成功后下载门罗币挖矿程序进行牟利.该团伙使用的恶 ...
- Solr Dataimport配置
参考资料: https://cwiki.apache.org/confluence/display/solr/Uploading+Structured+Data+Store+Data+with+the ...
- solr dataimport中遇到的问题
1.windows的tomcat是没有catalina.out的,可以通过修改start.bat和catalina.bat的方式让日志输出到catalina.out 2.按照网上搜到的资料配置好sol ...
- Linux下安装使用Solr
Linux下安装使用Solr 1.首先下载Solr.mmseg4j分词包.tomcat并解压,这用google.百度都可以搜索得到下载地址. 2.因为要使用到中文分词,所以要设置编码,进入tomcat ...
- solr连接数据库配置
一般要搜索的信息都是被存储在数据库里面的,但是我们不能直接搜数据库,所以只有借助Solr将要搜索的信息在搜索服务器上进行索引,然后在客户端供客户使用. 一.链接数据库 1. SQL配置 拿SQL Se ...
- 将数据库表导入到solr索引
将数据库表导入到solr索引 编辑solrcofnig.xml添加处理器 <requestHandler name="/dataimport" class="org ...
- solr导入mysql数据库
感谢ITeye的博主viskyzz分享的经验,笔者基本参考ta的方法.然而,解决中间出现的问题时也融入了自己的经验. 查看ta的原文请戳: http://tbwuming.iteye.com/blog ...
- SOLR (全文检索)
SOLR (全文检索) http://sinykk.iteye.com/ 1. 什么是SOLR 官方网站 http://wiki.apache.org/solr http://wiki.apach ...
随机推荐
- 数据交换格式Json与XML
什么是数据交换格式: 主流的有Json.XML.HTML. 数据交换格式的应用场景: 移动端(安卓,IOS)通讯方式采用http协议+Json格式的restful风格. 很多互联网公司都是用Http协 ...
- LCD浮点数显示函数的探讨
LCD浮点数显示函数的探讨 原创 2017年12月19日 单片机开放附赠的学习资料里面很少见到显示浮点数的函数,显示浮点数的操作也相当烦坠! 一般转换显示法 拿STM32单片机资源,我们选取ADC采样 ...
- NYOJ542-试制品
题目链接:点击打开链接 试 制 品 时间限制:1000 ms | 内存限制:65535 KB 难度: 描述 ZZ大学的Dr.Kong最近发现实验室的很多试制品都已经用完.由于项目经费有限,为了节省 ...
- 1、gitlab的理论知识
2.1 svn与git对比 . svn git 分布式 不是 是 在线阅读 不支持 不仅支持,而且可以在线编辑 存储方式 按文件 按元数据 完整性 一般 优 离线工作 日志都没法看 完全没问题 分支 ...
- chrome安装文件点击没有反应(收藏用)
备份Chrome浏览器用户数据 关闭Chrome浏览器,用Windows资源管理器打开%LOCALAPPDATA%\Google,复制Chrome文件夹到其它目录. 打开程序和功能管理功能 按下W ...
- 牛客网Java刷题知识点之基本类型、引用类型
不多说,直接上干货! byte-short-int-long,方便识记.
- java里如何实现两个等长度的字符串数组有多少个元素相同(从最左边开始,一旦遇到不同元素则跳出计数)
不多说,直接上干货! package zhouls.bigdata.DataFeatureSelection.sim; public class test { public static int st ...
- WebSocket协议入门介绍
目录 目录 WebSocket协议是什么 WebSocket是应用层协议 WebSocket与Http的区别 为什么要使用WebSocket 如何使用WebSocket 客户端API 在客户端使用We ...
- PHP面向对象编程一
php面向对象编程(一) 类与对象关系: 类就像一个人类的群体 我们从类中实例化一个对象 就像是制定一个人. 面向对象程序的单位就是对象,但对象又是通过类的实例化出来的,所以我们首先要做的就是如何 ...
- [luogu 1660]数位平方和
题目描述 定义S(n)表示n的各个数位的k次方的和.定义$H(n)=min{n,S(n),H(S(n))}$. 求$$\sum _{i=A} ^{B} {H(i)} \mod 10000007$$ 输 ...