<div class="show-content-free">
<h1><a name="t0"></a>Neo4j与ElasticSearch数据同步</h1>

针对节点删除,加了一些逻辑,代码地址

背景

需要强大的检索功能,所有需要被查询的数据都在neo4j。

方案

  • 在Server逻辑中直接编写。后端有一个Storage类。当有新数据通过RestAPI存入Neo4j时,同时存一份到ElasticSearch
  • 编写Neo4j插件。Neo4j本身不支持Trigger。但是可以通过插件实现类似功能

方案的选择采用第二种,原因有二

  • 集中式的数据同步处理,比分散式上层逻辑数据同步处理 稳定性和可维护性更高
  • Neo4j开源仓储提供了Neo4j-ElasticSearch插件,虽然不满足我们的需求,但是可以为编写代码提供极大的参考。

插件试用

实验环境: Ubuntu16.04 Docker 17.12.1-ce (由于采用Docker,环境对实验影响不大)

实验环境搭建

  • 下载最近版本(3.2.x)的Jar包
wget https://github.com/neo4j-contrib/neo4j-elasticsearch/releases/download/3.2.3/neo4j-elasticsearch-3.2.3.jar
  • 启动ES容器,该插件用的Jest 2.0.2版本。但是我们使用ElasticSearch2.3也没什么问题
docker run -p 9200:9200 -d --name es elasticsearch:2.3
  • 启动neo4j容器, 并挂载磁盘
docker run -p 7474:7474 -p 7687:7687 -v /home/bonsai/Demo/conf:/var/lib/neo4j/conf  -v /home/bonsai/Demo/plugins:/var/lib/neo4j/plugins --name neo -d  --link es:es neo4j:3.2.3
  • cp插件到plugins文件夹
cp neo4j-elasticsearch-3.2.3.jar /home/bonsai/Demo/plugins
  • 增加配置 vim /home/bonsai/Demo/conf/neo4j.conf

  1. elasticsearch.host_name=http://es:9200
  2. elasticsearch.index_spec=people:Person(first_name,last_name), places:Place(name)
  • 去除默认密码修改限制
docker exec neo /bin/bash -c "echo 'neo4j:SHA-256,BC43474518A71BA7BEB54461F769A76195226474BFE892FF2562211DFD8043FA,B6070629C73CE74455674D39D65BA3DF:' > data/dbms/auth"
  • 重启Neo4j容器
docker restart neo
  • 验证neo4j成功加载配置docker exec neo cat /var/lib/neo4j/logs/debug.log | grep elastic
    成功加载配置

功能使用

在Neo4j-ElasticSearch插件中,引用了index_spec这个配置。具体实现细节下节分析。试用的时候只要知道我们定义了

elasticsearch.index_spec=people:Person(first_name,last_name), places:Place(name)

表示会将Person标签的Node的first_namelast_name属性存入ES people索引中,会将Place标签的Node的name属性存入ES places索引中

节点创建


  1. curl -X POST \
  2. http://localhost:7474/db/data/cypher \
  3. -H 'authorization: Basic bmVvNGo6bmVvNGo=' \
  4. -H 'content-type: application/json' \
  5. -d '{
  6. "query" : "CREATE (n:Person { first_name : {firstname}, last_name: {lastname} }) RETURN n",
  7. "params" : {
  8. "firstname" : "Bonsai",
  9. "lastname": "Y"
  10. }
  11. }
  12. '

成功创建后访问ES数据库查看

curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='
image.png

修改节点


  1. curl -X POST \
  2. http://localhost:7474/db/data/cypher \
  3. -H 'authorization: Basic bmVvNGo6bmVvNGo=' \
  4. -H 'content-type: application/json' \
  5. -d '{
  6. "query" : "MATCH (n:Person) SET n.first_name = { newfirstname } RETURN n",
  7. "params" : {
  8. "newfirstname" : "new_bonsai"
  9. }
  10. }'

成功修改后访问ES数据库查看

curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='
修改节点
  • 删除node

  1. curl -X POST \
  2. http://localhost:7474/db/data/cypher \
  3. -H 'authorization: Basic bmVvNGo6bmVvNGo=' \
  4. -H 'content-type: application/json' \
  5. -d '{
  6. "query" : "MATCH (n:Person) Delete n"
  7. }'

成功删除后访问ES数据库查看

curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='
删除节点
      </div>原文地址:https://blog.csdn.net/weixin_43086579/article/details/84801418
</div>

Neo4j与ElasticSearch数据同步的更多相关文章

  1. Oracle和Elasticsearch数据同步

    Python编写Oracle和Elasticsearch数据同步脚本 标签: elasticsearchoraclecx_Oraclepython数据同步    Python知识库 一.版本 Pyth ...

  2. 基于 MySQL Binlog 的 Elasticsearch 数据同步实践 原

    一.背景 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品.订单等数据的多维度检索. 使用 Elasticsearch 存储业务数据可以 ...

  3. 基于MySQL Binlog的Elasticsearch数据同步实践

    一.为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品.订单等数据的多维度检索. 使用 Elasticsearch 存储业务数 ...

  4. kafka2x-Elasticsearch 数据同步工具demo

    Bboss is a good elasticsearch Java rest client. It operates and accesses elasticsearch in a way simi ...

  5. elasticsearch与mongodb分布式集群环境下数据同步

    1.ElasticSearch是什么 ElasticSearch 是一个基于Lucene构建的开源.分布式,RESTful搜索引擎.它的服务是为具有数据库和Web前端的应用程序提供附加的组件(即可搜索 ...

  6. Elasticsearch和mysql数据同步(logstash)

    1.版本介绍 Elasticsearch: https://www.elastic.co/products/elasticsearch 版本:2.4.0   Logstash: https://www ...

  7. Elasticsearch和mysql数据同步(elasticsearch-jdbc)

    1.介绍 对mysql.oracle等数据库数据进行同步到ES有三种做法:一个是通过elasticsearch提供的API进行增删改查,一个就是通过中间件进行数据全量.增量的数据同步,另一个是通过收集 ...

  8. HBase数据同步ElasticSearch该程序

    ElasticSearch的River机械 ElasticSearch本身就提供了River机械,对于同步数据. 在这里,现在能找到的官方推荐River: http://www.elasticsear ...

  9. Linux安装ElasticSearch与MongoDB分布式集群环境下数据同步

    ElasticSearch有一个叫做river的插件式模块,可以将外部数据源中的数据导入elasticsearch并在上面建立索引.River在集群上是单例模式的,它被自动分配到一个节点上,当这个节点 ...

随机推荐

  1. thinkphp 区间查询

    ThinkPHP支持对某个字段的区间查询,例如: 富瑞华大理石平台厂家哪家好 $map['id'] = array(array('gt',1),array('lt',10)) ; 得到的查询条件是:  ...

  2. Django之深入了解视图层

    目录 视图层三板斧 HttpResponse render redirect JsonResponse FBV CBV CBV源码 如何给FBV和CBV加装饰器 视图层三板斧 规定视图函数必须有一个返 ...

  3. 牛客网在线判题系统JavaScript(V8)使用

    JavaScript作为一种弱类型的编程语言,语法和C/C++.JAVA等存在差别,但是对于大部算法题,不只是C/C++.JAVA,也依然可以使用JavaScript来实现.所以在牛客网中,如果你喜欢 ...

  4. Linux网桥端口的arp问题

    Linux的brctl addif命令可以将一个接口加入到既有的网桥中,接下来,这个接口就成了brport,属于一个从属的接口,然而你还是可以看到它的,并且可以为它添加IP地址,然后route命令会显 ...

  5. System.Web.Mvc.HttpStatusCodeResult.cs

    ylbtech-System.Web.Mvc.HttpStatusCodeResult.cs 1.程序集 System.Web.Mvc, Version=5.2.3.0, Culture=neutra ...

  6. 更改git提交显示的用户名

    问题描述 同一项目多人开发难免会用到版本控制,最为流行的当属git.开发中出现一个小问题,每个人提交后显示的用户名,如下图 组长发话:把用户名都改成自己的名字! 这时发现用户名并不是自己的名字,怎么改 ...

  7. Python学习day43-数据库(多表关系)

    figure:last-child { margin-bottom: 0.5rem; } #write ol, #write ul { position: relative; } img { max- ...

  8. 【LGP4705】玩游戏

    题目 显然这个题的期望就是逗你玩的,我们算出来总贡献除以\(nm\)就好了 设\(ans_t=\sum_{i=1}^n\sum_{j=1}^n(a_i+b_j)^t\) 二项式定理展开一下 \[ans ...

  9. Spring Http Basic(基本)和Digest(摘要)验证

    Basic(基本)和Digest(摘要)验证都是web应用中很受欢迎的可选机制. Basic验证一般用来处理无状态的客户端,它们在每次请求都附带它们的证书. 很常见的用法是把它和基于表单的验证一起使用 ...

  10. 在vue中使用pug

    安装pug npm i pug pug-loader pug-cli pug-filters -D pug :安装pug pug-loader:pug的loader pug-cli:pug 编译工具 ...