Flink是目前流计算的隐形王者,在国际国内有有庞大的拥趸. Nebula是国产图数据库的后起之秀,在DBEngines中排名也逐年上升. 将两者进行结合,可以产生很多应用场景:比如实时计算服务链路调用关系并将结果存到Nebula中.实时计算业务访问风控情况并将结果存到Nebula中.实时计算预警发生情况并将结果存到Nebula中等. 将Flink计算完毕后的结果,Sink到Nebula,Nebula官方提供了一个Flink Connector,但是很不易用. 笔者根据项目实际应用情况,写了一个

摘要:本文所介绍 Nebula Graph 连接器 Nebula Flink Connector,采用类似 Flink 提供的 Flink Connector 形式,支持 Flink 读写分布式图数据库 Nebula Graph. 文章首发 Nebula Graph 官网博客:https://nebula-graph.com.cn/posts/nebula-flink-connector/ 在关系网络分析.关系建模.实时推荐等场景中应用图数据库作为后台数据支撑已相对普及,且部分应用场景对图数据的

摘要: 主要介绍如何通过官方 ETL 工具 Exchange 将业务线上数据从 Neo4j 直接导入到 Nebula Graph 以及在导入过程中遇到的问题和优化方法. 本文首发于 Nebula 论坛:https://discuss.nebula-graph.com.cn/t/topic/2044 1 背景 随着业务数据量不断增长,业务对图数据库在线数据实时更新写入和查询的效率要求也不断增加.Neo4j 存在明显性能不足,Neo4j 社区开源版本只支持单机部署,扩展能力存在比较大的问题,无法满足

前言 本文由 Nebula Graph 实习生@王杰贡献. 最近 @Yener 开源了史上最大规模的中文知识图谱--OwnThink(链接:https://github.com/ownthink/KnowledgeGraphData ),数据量为 1.4 亿条. 本文介绍如何将这份数据快速导入图数据库 Nebula Graph,全过程大约需要 30 分钟. 中文知识图谱 OwnThink 简介 思知(OwnThink) 知识图谱是由 Google 在 2012 年提出来的一个概念.主要是用来描述

本文由 Nebula Graph 实习生@王杰贡献. 最近 @Yener 开源了史上最大规模的中文知识图谱——OwnThink(链接:https://github.com/ownthink/KnowledgeGraphData),数据量为 1.4 亿条. 本文介绍如何将这份数据快速导入图数据库 Nebula Graph,全过程大约需要 30 分钟. 中文知识图谱 OwnThink 简介 思知(OwnThink) 知识图谱是由 Google 在 2012 年提出来的一个概念.主要是用来描述真实世界

摘要:本文由社区用户 xrfinbj 贡献,主要介绍 Exchange 工具从 Hive 数仓导入数据到 Nebula Graph 的流程及相关的注意事项. 1 背景 公司内部有使用图数据库的场景,内部通过技术选型确定了 Nebula Graph 图数据库,还需要验证 Nebula Graph 数据库在实际业务场景下的查询性能.所以急迫的需要导入数据到 Nebula Graph 并验证.在这个过程中发现通过 Exchange 工具从 hive 数仓导入数据到 Nebula Graph 文档不是很

本文首发于 Nebula Graph Community 公众号 在 #图计算 on nLive# 直播活动中,来自 Nebula 研发团队的 nebula-plato 维护者郝彤和 nebula-algorithm 维护者 Nicole 分别同大家分享了他她眼中的图计算. 嘉宾们 王昌圆:论坛 ID:Nicole,nebula-algorithm 维护者: 郝彤:论坛 ID:caton-hpg,nebula-plato 维护者: 先开场的是 nebula-plato 的维护者郝彤. 图计算之

本文首发于 Nebula Graph Community 公众号 背景 企查查是企查查科技有限公司旗下的一款企业信用查询工具,旨在为用户提供快速查询企业工商信息.法院判决信息.关联企业信息.法律诉讼.失信信息.被执行人信息.知识产权信息.公司新闻.企业年报等服务. 为更好地展现企业之间的法律诉讼.风险信息.股权信息.董监高法等信息,我们抽取结构化/非结构化的企业数据构建企业知识图谱,为用户提供真实可靠的服务. 图数据库选择 在最初的时候,我们用的是 Neo4j HA cluster 作为存储端.

Nebula Graph 是开源的分布式图数据库,可应用于知识图谱.社交推荐.风控.IoT 等场景. 本次 RC2 主要新增 GO FROM ... REVERSELY 和 GROUP BY 等语句,Storage Engine 也更灵活,用户可以通过 Console 或 Http 获取配置信息,触发 compaction:客户端目前支持 Python,Java,Go:在工具方面,增强了 CSV Importer 功能 Query Engine 支持 GROUP BY 语句用于聚合函数,根据一个

11 月 2 号 - 11 月 3 号,以"大爱无疆,开源无界"为主题的 2019 中国开源年会(COSCon'19)正式启动,大会以开源治理.国际接轨.社区发展和开源项目为切入点同全球开源爱好者们共同交流开源. 作为图数据库技术的代表,Nebula Graph 总监--吴敏在本次大会上将会讲述了大规模分布式图数据库设计思考和实践.在信息爆发式增长和内容平台遍地开花的信息时代,图数据库在当中扮演了什么样的角色?同传统数据库相比,图数据库又有什么优势?图数据库开发需要哪些新技术?就此,开

图数据库(英语:Graph Database)是一个使用图结构进行语义查询的数据库.该系统的关键概念是图,形式上是点 (Node 或者 Vertex) 和边 (Edge 或者 Relationship) 的集合.一个顶点代表一个实体,比如,某个人,边则表示两个实体间的关联关系,比如 "你关注 Nebula Graph"的关注关系.图广泛存在于现实世界中,从社交网络到风控场景.从知识图谱到智能推荐. Nebula Graph 是什么 Nebula Graph 是一款开源的分布式图数据库,

不同来源的异构数据间存在着千丝万缕的关联,这种数据之间隐藏的关联关系和网络结构特性对于数据分析至关重要,图计算就是以图作为数据模型来表达问题并予以解决的过程. 一.背景 随着网络信息技术的飞速发展,数据逐渐向多源异构化方向发展,且不同来源的异构数据之间也存在的千丝万缕的关联,这种数据之间隐藏的关联关系和网络结构特性对于数据分析至关重要.但传统关系型数据库在分析大规模数据关联特性时存在性能缺陷.表达有限等问题,因此有着更强大表达能力的图数据受到业界极大重视,图计算就是以图作为数据模型来表达问题并予

本文首发于 Nebula Graph 公众号 NebulaGraphCommunity,Follow 看大厂图数据库技术实践. 测试框架的演进 截止目前为止,在 Nebula Graph 的开发过程中,测试框架一共发生三次较大的改动,如下图所示.在不断的演进中,团队还是积累了一些经验和教训,希望借由此文做个简单的介绍和梳理. 对于一个数据库产品而言,测试的重要性不言而喻,如何强调都不为过.所以测试框架无论切换到谁,出发点始终只有一个:方便快速的积累测试用例来保障 Nebula Graph 功能的

本文首发于 Nebula Graph 公众号 NebulaGraphCommunity,Follow 看大厂图数据库技术实践. 1 背景 Nebula 2.0 中已经支持了基于外部全文搜索引擎的文本查询功能.在介绍这个功能前,我们先简单回顾一下 Nebula Graph 的架构设计和存储模型,更易于下边章节的描述. 1.1 Nebula Graph 架构简介 如图所示,Storage Service 共有三层,最底层是 Store Engine,它是一个单机版 local store engin

本文首发于 Nebula Graph Community 公众号 当游戏上知识图谱,网易游戏是如何应对大规模图数据的管理问题,Nebula Graph 又是如何帮助网易游戏落地游戏内复杂的图的业务呢?在本文,我们来一探究竟. 游戏中的图数据 目前网易游戏大部分的产品都是在线游戏,作为国际领先的头部游戏厂商,网易所吸引的在线玩家数量也是众多的,那么大量的玩家登录我们的游戏势必产生大量各种操作性数据. 如上图中间显示的交易数据--玩家可以购买商城里的物品,或者直接购买其他玩家的物品:社交数据--加好

引子 Nebula Graph 的技术总监在 09.24 - 09.30 期间同开源中国·高手问答的小伙伴们以「图数据库的设计和实践」为切入点展开讨论,包括:「图数据库的存储设计」.「图数据库的计算设计」.「图数据库的架构设计」等方面内容,本文整理于他和开源中国小伙伴对图数据库的讨论内容~ 嘉宾·陈恒介绍 陈恒,开源的分布式图数据库 Nebula Graph 技术总监,图数据库领域专家 & HBase Committer.北京邮电大学硕士,曾就职于蚂蚁金服.猿题库.网易等公司,一直从事基础设施相

Nebula Graph 是一个高性能的分布式开源图数据库,本文为大家介绍 Nebula Graph 的整体架构. 一个完整的 Nebula 部署集群包含三个服务,即  Query Service,Storage Service 和 Meta Service.每个服务都有其各自的可执行二进制文件,这些二进制文件既可以部署在同一组节点上,也可以部署在不同的节点上. Meta Service 上图为 Nebula Graph 的架构图,其右侧为 Meta Service 集群,它采用 leader

Nebula Graph 介绍 Nebula Graph 是开源的高性能分布式图数据库.项目使用 C++ 语言开发,cmake 工具构建.其中两个重要的依赖是 Facebook 的 Thrift RPC 框架和 folly 库. 由于项目采用了 C++ 14 标准开发,需要使用较新版本的编译器和一些三方库.虽然 Nebula Graph 官方给出了一份开发者构建指南,但是在本地构建完整的编译环境依然不是一件轻松的事. 开发环境构建 Nebula Graph 依赖较多,且一些第三方库需本地编译安装

Kubernetes 是什么 Kubernetes 是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes 的目标是让部署容器化的应用简单并且高效,Kubernetes 提供了应用部署,规划,更新,维护的一种机制.Kubernetes 在设计结构上定义了一系列的构建模块,其目的是为了提供一个可以部署.维护和扩展应用程序的机制,组成 Kubernetes 的组件设计概念为松耦合和可扩展的,这样可以使之满足多种不同的工作负载.可扩展性在很大程度上由 Kubernetes API

摘要:在本文中,我们将通过数据流快速学习 Nebula Graph,以用户在客户端输入一条 nGQL 语句 SHOW SPACES 为例,使用 GDB 追踪语句输入时 Nebula Graph 是怎么调用和运行的. 首发于 Nebula Graph 博客:https://nebula-graph.com.cn/posts/how-to-read-nebula-graph-source-code/ 导读 对于一些刚开始接触 Nebula Graph 开源库的小伙伴来说,刚开始可能和我一样,想要提高