Neo4j与ElasticSearch数据同步
<div class="show-content-free">
<h1><a name="t0"></a>Neo4j与ElasticSearch数据同步</h1>
针对节点删除,加了一些逻辑,代码地址
背景
需要强大的检索功能,所有需要被查询的数据都在neo4j。
方案
- 在Server逻辑中直接编写。后端有一个
Storage
类。当有新数据通过RestAPI存入Neo4j时,同时存一份到ElasticSearch - 编写Neo4j插件。Neo4j本身不支持Trigger。但是可以通过插件实现类似功能
方案的选择采用第二种,原因有二
- 集中式的数据同步处理,比分散式上层逻辑数据同步处理 稳定性和可维护性更高
- Neo4j开源仓储提供了Neo4j-ElasticSearch插件,虽然不满足我们的需求,但是可以为编写代码提供极大的参考。
插件试用
实验环境: Ubuntu16.04
Docker 17.12.1-ce
(由于采用Docker,环境对实验影响不大)
实验环境搭建
- 下载最近版本(3.2.x)的Jar包
wget https://github.com/neo4j-contrib/neo4j-elasticsearch/releases/download/3.2.3/neo4j-elasticsearch-3.2.3.jar
- 启动ES容器,该插件用的Jest 2.0.2版本。但是我们使用ElasticSearch2.3也没什么问题
docker run -p 9200:9200 -d --name es elasticsearch:2.3
- 启动neo4j容器, 并挂载磁盘
docker run -p 7474:7474 -p 7687:7687 -v /home/bonsai/Demo/conf:/var/lib/neo4j/conf -v /home/bonsai/Demo/plugins:/var/lib/neo4j/plugins --name neo -d --link es:es neo4j:3.2.3
- cp插件到plugins文件夹
cp neo4j-elasticsearch-3.2.3.jar /home/bonsai/Demo/plugins
- 增加配置
vim /home/bonsai/Demo/conf/neo4j.conf
-
elasticsearch.host_name=http://es:9200
-
elasticsearch.index_spec=people:Person(first_name,last_name), places:Place(name)
- 去除默认密码修改限制
docker exec neo /bin/bash -c "echo 'neo4j:SHA-256,BC43474518A71BA7BEB54461F769A76195226474BFE892FF2562211DFD8043FA,B6070629C73CE74455674D39D65BA3DF:' > data/dbms/auth"
- 重启Neo4j容器
docker restart neo
- 验证neo4j成功加载配置
docker exec neo cat /var/lib/neo4j/logs/debug.log | grep elastic
成功加载配置
功能使用
在Neo4j-ElasticSearch插件中,引用了index_spec
这个配置。具体实现细节下节分析。试用的时候只要知道我们定义了
elasticsearch.index_spec=people:Person(first_name,last_name), places:Place(name)
表示会将Person
标签的Node的first_name
与last_name
属性存入ES people
索引中,会将Place
标签的Node的name
属性存入ES places
索引中
节点创建
-
curl -X POST \
-
http://localhost:7474/db/data/cypher \
-
-H 'authorization: Basic bmVvNGo6bmVvNGo=' \
-
-H 'content-type: application/json' \
-
-d '{
-
"query" : "CREATE (n:Person { first_name : {firstname}, last_name: {lastname} }) RETURN n",
-
"params" : {
-
"firstname" : "Bonsai",
-
"lastname": "Y"
-
}
-
}
-
'
成功创建后访问ES数据库查看
curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='

修改节点
-
curl -X POST \
-
http://localhost:7474/db/data/cypher \
-
-H 'authorization: Basic bmVvNGo6bmVvNGo=' \
-
-H 'content-type: application/json' \
-
-d '{
-
"query" : "MATCH (n:Person) SET n.first_name = { newfirstname } RETURN n",
-
"params" : {
-
"newfirstname" : "new_bonsai"
-
}
-
}'
成功修改后访问ES数据库查看
curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='

- 删除node
-
curl -X POST \
-
http://localhost:7474/db/data/cypher \
-
-H 'authorization: Basic bmVvNGo6bmVvNGo=' \
-
-H 'content-type: application/json' \
-
-d '{
-
"query" : "MATCH (n:Person) Delete n"
-
}'
成功删除后访问ES数据库查看
curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='

</div>原文地址:https://blog.csdn.net/weixin_43086579/article/details/84801418
</div>
Neo4j与ElasticSearch数据同步的更多相关文章
- Oracle和Elasticsearch数据同步
Python编写Oracle和Elasticsearch数据同步脚本 标签: elasticsearchoraclecx_Oraclepython数据同步 Python知识库 一.版本 Pyth ...
- 基于 MySQL Binlog 的 Elasticsearch 数据同步实践 原
一.背景 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品.订单等数据的多维度检索. 使用 Elasticsearch 存储业务数据可以 ...
- 基于MySQL Binlog的Elasticsearch数据同步实践
一.为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品.订单等数据的多维度检索. 使用 Elasticsearch 存储业务数 ...
- kafka2x-Elasticsearch 数据同步工具demo
Bboss is a good elasticsearch Java rest client. It operates and accesses elasticsearch in a way simi ...
- elasticsearch与mongodb分布式集群环境下数据同步
1.ElasticSearch是什么 ElasticSearch 是一个基于Lucene构建的开源.分布式,RESTful搜索引擎.它的服务是为具有数据库和Web前端的应用程序提供附加的组件(即可搜索 ...
- Elasticsearch和mysql数据同步(logstash)
1.版本介绍 Elasticsearch: https://www.elastic.co/products/elasticsearch 版本:2.4.0 Logstash: https://www ...
- Elasticsearch和mysql数据同步(elasticsearch-jdbc)
1.介绍 对mysql.oracle等数据库数据进行同步到ES有三种做法:一个是通过elasticsearch提供的API进行增删改查,一个就是通过中间件进行数据全量.增量的数据同步,另一个是通过收集 ...
- HBase数据同步ElasticSearch该程序
ElasticSearch的River机械 ElasticSearch本身就提供了River机械,对于同步数据. 在这里,现在能找到的官方推荐River: http://www.elasticsear ...
- Linux安装ElasticSearch与MongoDB分布式集群环境下数据同步
ElasticSearch有一个叫做river的插件式模块,可以将外部数据源中的数据导入elasticsearch并在上面建立索引.River在集群上是单例模式的,它被自动分配到一个节点上,当这个节点 ...
随机推荐
- thinkphp 区间查询
ThinkPHP支持对某个字段的区间查询,例如: 富瑞华大理石平台厂家哪家好 $map['id'] = array(array('gt',1),array('lt',10)) ; 得到的查询条件是: ...
- Django之深入了解视图层
目录 视图层三板斧 HttpResponse render redirect JsonResponse FBV CBV CBV源码 如何给FBV和CBV加装饰器 视图层三板斧 规定视图函数必须有一个返 ...
- 牛客网在线判题系统JavaScript(V8)使用
JavaScript作为一种弱类型的编程语言,语法和C/C++.JAVA等存在差别,但是对于大部算法题,不只是C/C++.JAVA,也依然可以使用JavaScript来实现.所以在牛客网中,如果你喜欢 ...
- Linux网桥端口的arp问题
Linux的brctl addif命令可以将一个接口加入到既有的网桥中,接下来,这个接口就成了brport,属于一个从属的接口,然而你还是可以看到它的,并且可以为它添加IP地址,然后route命令会显 ...
- System.Web.Mvc.HttpStatusCodeResult.cs
ylbtech-System.Web.Mvc.HttpStatusCodeResult.cs 1.程序集 System.Web.Mvc, Version=5.2.3.0, Culture=neutra ...
- 更改git提交显示的用户名
问题描述 同一项目多人开发难免会用到版本控制,最为流行的当属git.开发中出现一个小问题,每个人提交后显示的用户名,如下图 组长发话:把用户名都改成自己的名字! 这时发现用户名并不是自己的名字,怎么改 ...
- Python学习day43-数据库(多表关系)
figure:last-child { margin-bottom: 0.5rem; } #write ol, #write ul { position: relative; } img { max- ...
- 【LGP4705】玩游戏
题目 显然这个题的期望就是逗你玩的,我们算出来总贡献除以\(nm\)就好了 设\(ans_t=\sum_{i=1}^n\sum_{j=1}^n(a_i+b_j)^t\) 二项式定理展开一下 \[ans ...
- Spring Http Basic(基本)和Digest(摘要)验证
Basic(基本)和Digest(摘要)验证都是web应用中很受欢迎的可选机制. Basic验证一般用来处理无状态的客户端,它们在每次请求都附带它们的证书. 很常见的用法是把它和基于表单的验证一起使用 ...
- 在vue中使用pug
安装pug npm i pug pug-loader pug-cli pug-filters -D pug :安装pug pug-loader:pug的loader pug-cli:pug 编译工具 ...