本文首发于 Nebula Graph Community 公众号 当游戏上知识图谱,网易游戏是如何应对大规模图数据的管理问题,Nebula Graph 又是如何帮助网易游戏落地游戏内复杂的图的业务呢?在本文,我们来一探究竟. 游戏中的图数据 目前网易游戏大部分的产品都是在线游戏,作为国际领先的头部游戏厂商,网易所吸引的在线玩家数量也是众多的,那么大量的玩家登录我们的游戏势必产生大量各种操作性数据. 如上图中间显示的交易数据--玩家可以购买商城里的物品,或者直接购买其他玩家的物品:社交数据--加好…

本文转载自Java线程池实现原理及其在美团业务中的实践 导语 随着计算机行业的飞速发展,摩尔定律逐渐失效,多核CPU成为主流.使用多线程并行计算逐渐成为开发人员提升服务器性能的基本武器.J.U.C提供的线程池:ThreadPoolExecutor类,帮助开发人员管理线程并方便地执行并行任务.了解并合理使用线程池,是一个开发人员必修的基本功. 本文开篇简述线程池概念和用途,接着结合线程池的源码,帮助读者领略线程池的设计思路,最后回归实践,通过案例讲述使用线程池遇到的问题,并给出了一种动态化线程池解…

转自美团技术团队:https://tech.meituan.com/2020/04/02/java-pooling-pratice-in-meituan.html 随着计算机行业的飞速发展,摩尔定律逐渐失效,多核CPU成为主流.使用多线程并行计算逐渐成为开发人员提升服务器性能的基本武器.J.U.C提供的线程池:ThreadPoolExecutor类,帮助开发人员管理线程并方便地执行并行任务.了解并合理使用线程池,是一个开发人员必修的基本功. 本文开篇简述线程池概念和用途,接着结合线程池的源码,帮…

本文为微众银行大数据平台:周可在 nMeetup 深圳场的演讲这里文字稿,演讲视频参见:B站 自我介绍下,我是微众银行大数据平台的工程师:周可,今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况. 先来说下图数据库应用背景. WeDataSphere 图数据库架构是基于 JanusGraph 搭建,正如邸帅在演讲<NebulaGraph - WeDataSphere 开源介绍>中提及的那样,主要用于解决微众银行数据治理中的数据血缘问题.在使用 Jan…

摘要: 主要介绍如何通过官方 ETL 工具 Exchange 将业务线上数据从 Neo4j 直接导入到 Nebula Graph 以及在导入过程中遇到的问题和优化方法. 本文首发于 Nebula 论坛:https://discuss.nebula-graph.com.cn/t/topic/2044 1 背景 随着业务数据量不断增长,业务对图数据库在线数据实时更新写入和查询的效率要求也不断增加.Neo4j 存在明显性能不足,Neo4j 社区开源版本只支持单机部署,扩展能力存在比较大的问题,无法满足…

1 概述 1.1 需求背景 图数据库 Nebula Graph 在生产环境中将拥有庞大的数据量和高频率的业务处理,在实际的运行中将不可避免的发生人为的.硬件或业务处理错误的问题,某些严重错误将导致集群无法正常运行或集群中的数据失效.当集群处于无法启动或数据失效的状态时,重新搭建集群并重新倒入数据都将是一个繁琐并耗时的工程.针对此问题,Nebula Graph 提供了集群 snapshot 的创建功能. Snapshot 功能需要预先提供集群在某个时间点 snapshot 的创建功能,以备发生灾难…

引子 Nebula Graph 的技术总监在 09.24 - 09.30 期间同开源中国·高手问答的小伙伴们以「图数据库的设计和实践」为切入点展开讨论,包括:「图数据库的存储设计」.「图数据库的计算设计」.「图数据库的架构设计」等方面内容,本文整理于他和开源中国小伙伴对图数据库的讨论内容~ 嘉宾·陈恒介绍 陈恒,开源的分布式图数据库 Nebula Graph 技术总监,图数据库领域专家 & HBase Committer.北京邮电大学硕士,曾就职于蚂蚁金服.猿题库.网易等公司,一直从事基础设施相…

导读 索引是数据库系统中不可或缺的一个功能,数据库索引好比是书的目录,能加快数据库的查询速度,其实质是数据库管理系统中一个排序的数据结构.不同的数据库系统有不同的排序结构,目前常见的索引实现类型如 B-Tree index.B+-Tree index.B*-Tree index.Hash index.Bitmap index.Inverted index 等等,各种索引类型都有各自的排序算法. 虽然索引可以带来更高的查询性能,但是也存在一些缺点,例如: 创建索引和维护索引要耗费额外的时间,往往是…

本文系腾讯云安全团队李航宇.邓昶博撰写 图数据库在挖掘黑灰团伙以及建立安全知识图谱等安全领域有着天然的优势.为了能更好的服务业务,选择一款高效并且贴合业务发展的图数据库就变得尤为关键.本文挑选了几款业界较为流行的开源图数据库与 Nebula Graph 进行了多角度的对比. 图数据库介绍 Neo4j Neo4j 是目前业界广泛使用的图数据库,包含社区版本和商用版本,本文中使用社区版本. HugeGraph HugeGraph 是百度基于 JanusGraph 改进而来的分布式图数据库,主要应用场…

不同来源的异构数据间存在着千丝万缕的关联,这种数据之间隐藏的关联关系和网络结构特性对于数据分析至关重要,图计算就是以图作为数据模型来表达问题并予以解决的过程. 一.背景 随着网络信息技术的飞速发展,数据逐渐向多源异构化方向发展,且不同来源的异构数据之间也存在的千丝万缕的关联,这种数据之间隐藏的关联关系和网络结构特性对于数据分析至关重要.但传统关系型数据库在分析大规模数据关联特性时存在性能缺陷.表达有限等问题,因此有着更强大表达能力的图数据受到业界极大重视,图计算就是以图作为数据模型来表达问题并予…

本文首发于 Nebula Graph 官方博客:https://nebula-graph.com.cn/posts/nebula-graph-risk-control-boss-zhipin/ 摘要:在本文中,BOSS 直聘大数据开发工程师主要分享一些他们内部的技术指标和选型,以及很多小伙伴感兴趣的 Dgraph 对比使用经验. 业务背景 在 Boss 直聘的安全风控技术中,需要用到大规模图存储和挖掘计算,之前主要基于自建的高可用 Neo4j 集群来保障相关应用,而在实时行为分析方面,需要一个支…

本文首发于 Nebula Graph 公众号 NebulaGraphCommunity,Follow & 看大厂图数据库技术实践 背景 在 Nebula-Graph 的日常测试中,我们会经常在服务器上部署 Nebula-Graph.为了提高效率,我们需要一种工具,能帮我们做到快速部署,主要的需求: 可以使用非 root 账户部署 Nebula Graph,这样我们可以针对这个用户设置 cgroup 做资源限制. 可以在操作机上更改配置文件,然后分发到部署的集群上,方便我们做各种调参的测试. 可以…

本文首发于 Nebula Graph Community 公众号 背景 企查查是企查查科技有限公司旗下的一款企业信用查询工具,旨在为用户提供快速查询企业工商信息.法院判决信息.关联企业信息.法律诉讼.失信信息.被执行人信息.知识产权信息.公司新闻.企业年报等服务. 为更好地展现企业之间的法律诉讼.风险信息.股权信息.董监高法等信息,我们抽取结构化/非结构化的企业数据构建企业知识图谱,为用户提供真实可靠的服务. 图数据库选择 在最初的时候,我们用的是 Neo4j HA cluster 作为存储端.…

前言 从今年的3月14日阿里的电话面试开始,到现在4月16日在西安悦豪酒店进行的腾讯HR面到现在一个多月了,中间先后收到了阿里,网易游戏,腾讯和smartx的offer,今天早晨刚刚接到了腾讯HR的电话,下午发offer,现在将这个过程记载下来,供找工作,或者其他找实习的同学参考.另外,上学期和女票开始一起刷算法,我Leetcode刷了整整一百道题,她刷的比我还多一些,然后在寒假看了剑指offer这本书,但是面试下来,基本没有问我数据结构和算法. 正文 阿里巴巴 听师兄说阿里巴巴每年内推都很早,…

前言 从今年的3月14日阿里的电话面试开始,到现在4月16日在西安悦豪酒店进行的腾讯HR面到现在一个多月了,中间先后收到了阿里,网易游戏,腾讯和smartx的offer,今天早晨刚刚接到了腾讯HR的电话,下午发offer,现在将这个过程记载下来,供找工作,或者其他找实习的同学参考.另外,上学期和女票开始一起刷算法,我Leetcode刷了整整一百道题,她刷的比我还多一些,然后在寒假看了剑指offer这本书,但是面试下来,基本没有问我数据结构和算法. 正文 阿里巴巴听师兄说阿里巴巴每年内推都很早,所…

时间限制:10000ms 单点时限:1000ms 内存限制:256MB 描述 网易成立于1997年6月,是中国领先的互联网技术公司.其相继推出了门户网站.在线游戏.电子邮箱.在线教育.电子商务等多种服务,目标是利用最先进的互联网技术,加强人与人之间信息的交流和共享,实现"网聚人的力量". 网易在线游戏是网易公司的一个重要组成部分,在开发实力.产品线和市场占有率上均是国产网游的领军者.正在运营的广受中国玩家欢迎的游戏包括<新大话西游2>.<梦幻西游2>.<天…

原文出处:http://bbs.yingjiesheng.com/forum.php?mod=viewthread&tid=1011893&fromuid=1745894 应届生上泡了两年,一直都是下资料,下笔试题,面试题.一直都在感谢那些默默付出的人.写这个帖子花了我两个夜晚的时间,不是为了炫耀,只是为了能给那些“迷惘”的学弟学妹,一点点建议而已.大家何必那么认真,更没必要说脏话.我不在乎你们怎么评价我.只要有人觉得帖子有用,我就欣慰了.谢谢大家,别说脏话,以和为贵.饮水思源,谢谢应届生…

转自:http://www.itmian4.com/forum.php?mod=viewthread&tid=3985 首先感谢师兄在两年前发的贴([天道酬勤] 腾讯.百度.网易游戏.华为Offer及笔经面经 ),这篇文章对我帮助很大. 我写这篇文章一是为了感谢这位同是华南理工但素未谋面的师兄,给我推荐这篇文章的炳爷,以及为我解决难题的浩子,羊兄给的项目帮助,洁洁的理解,王兄提供的两个月免费住宿,以及互娱的BOSS,leader,金山的朱先生等人对我择业的帮助,以及所有直接间接帮助过我的人.二是…

首先,我还是先介绍一下网易游戏吧.引用别人的一段话 作者:王选易.出处: http://www.cnblogs.com/neverdie/ 欢迎转载 .也请保留这段声明.假设你喜欢这篇文章,请点[推荐].谢谢! 网易游戏面试准备 假设你大学里有想过从事游戏开发的话,你对网易游戏肯定不会陌生.网易开发出过梦幻西游,倩女幽魂这样的端游大作,可惜在页游和手游方面如今依然毫无建树,网易游戏的特点有下面几个: 工作环境很好,或者极端点说.可能是 国内全部公司里工作环境最好的 .详细能够參考知乎里的这个问题…

PPT下载地址1(国外服务器):http://blog.s135.com/attachment/201105/2011phptc_zy.zip PPT下载地址2(国内服务器):http://ishare.iask.sina.com.cn/f/15231659.html 原文:http://blog.s135.com/2011phptc/ 大家好,现在我来跟大家分享的是PHP在金山游戏运营中的,包括团队开发,以及像系统结 构,设计,运营平台这些信息.我议题主要有两个,一个是在金山游戏官方网站做的一…

IBM中国研究院实习生 早在今年4月份.我面试的是IBM中国研究院的实习生岗位.主要是自然语言处理和语义网方向.那时我还在香港上学,两个考官对我进行的是电话面试,大概持续半个多小时,首先是我的自我介绍,然后将自己的学习经历和项目经历进行介绍,然后依据这些介绍陈述问我问题.主要问了我算法和数据结构,硕士期间学习过的大数据和数据挖掘方向的算法.像PageRank,LDA主题模型,再比方聚类与分类,像kmeans,DBSCAN,决策树等等,像SVM,神经网络等都没有问,毕竟是实习生岗位,并没有问的太深…

在今年 1 月由七牛云主办的 ECUG Con 十周年盛会上,真有趣技术总监陈明达带来了题为< Go 在游戏行业中的工程实践>的精彩分享,深入讲解了 Go 的工程经验,错误和异常处理,interface 的应用以及去 DSL 的尝试等内容,以下是对他演讲实况的记录. 陈明达 真有趣技术总监.从事游戏行业,开发过<神仙道><仙侠道>等项目. 先从工程说起 软件工程三要素 我创业后,总结了过往工作和创业过程中参与的项目,发现不论做什么,软件工程都回到三个问题上: 需求.首先…

应届生上泡了两年,一直都是下资料,下笔试题,面试题.一直都在感谢那些默默付出的人.写这个帖子花了我两 个夜晚的时间,不是为了炫耀,只是为了能给那些“迷惘”的学弟学妹,一点点建议而已.大家何必那么认真,更没必要说脏话.我不在乎你们怎么评价我.只要有 人觉得帖子有用,我就欣慰了.谢谢大家,别说脏话,以和为贵.饮水思源,谢谢应届生上默默付出的师兄师姐,谢谢那么多份笔试题,面试题,没有这些资料,就 没有现在的我.真心感谢. ----------------------------------------…

Nebula Graph:一个开源的分布式图数据库.作为唯一能够存储万亿个带属性的节点和边的在线图数据库,Nebula Graph 不仅能够在高并发场景下满足毫秒级的低时延查询要求,而且能够提供极高的服务可用性和数据安全性. 本篇主要介绍 Nebula Graph 的数据模型和系统架构设计. 有向属性图 DirectedPropertyGraph Nebula Graph 采用易理解的有向属性图来建模,也就是说,在逻辑上,图由两种图元素构成:顶点和边. 有向属性图 顶点 Vertex 在 Neb…

前言 本文由 Nebula Graph 实习生@王杰贡献. 最近 @Yener 开源了史上最大规模的中文知识图谱--OwnThink(链接:https://github.com/ownthink/KnowledgeGraphData ),数据量为 1.4 亿条. 本文介绍如何将这份数据快速导入图数据库 Nebula Graph,全过程大约需要 30 分钟. 中文知识图谱 OwnThink 简介 思知(OwnThink) 知识图谱是由 Google 在 2012 年提出来的一个概念.主要是用来描述…

Nebula Graph 介绍 Nebula Graph 是开源的高性能分布式图数据库.项目使用 C++ 语言开发,cmake 工具构建.其中两个重要的依赖是 Facebook 的 Thrift RPC 框架和 folly 库. 由于项目采用了 C++ 14 标准开发,需要使用较新版本的编译器和一些三方库.虽然 Nebula Graph 官方给出了一份开发者构建指南,但是在本地构建完整的编译环境依然不是一件轻松的事. 开发环境构建 Nebula Graph 依赖较多,且一些第三方库需本地编译安装…

Nebula Graph:一个开源的分布式图数据库.作为唯一能够存储万亿个带属性的节点和边的在线图数据库,Nebula Graph 不仅能够在高并发场景下满足毫秒级的低时延查询要求,还能够实现服务高可用且保障数据安全性. 本文目录 简介 Nebula 整体架构 Meta Service Storage Service Graph Service 安装部署 单机运行 集群部署 环境准备 安装 配置 测试集群 简介 Nebula Graph 是开源的第三代分布式图数据库,不仅能够存储万亿个带属性的节…

网易游戏互娱(offer) 去年这个时候就参加过网易游戏的实习生招聘,到今年总共收到了4次拒信.不过这次运气好,终于get了最想要的offer.去年实习生互娱笔试挂,秋招笔试挂,今年春招互娱投了连笔试链接都没给我发,我重注册了个号投了雷火,雷火4个编程题100分,得了72分,然而笔试还是挂了. 网易互娱在hiho上提供了一些面试的名额,然后我就从3月份每周都打hiho,因为不是专业acmer,成绩很不稳定,最好的一次70几名,然后拿到了一次面试的机会,话不多说,直接分享一波面经. 一面 C++基…

本文由 Nebula Graph 实习生@王杰贡献. 最近 @Yener 开源了史上最大规模的中文知识图谱——OwnThink(链接:https://github.com/ownthink/KnowledgeGraphData),数据量为 1.4 亿条. 本文介绍如何将这份数据快速导入图数据库 Nebula Graph,全过程大约需要 30 分钟. 中文知识图谱 OwnThink 简介 思知(OwnThink) 知识图谱是由 Google 在 2012 年提出来的一个概念.主要是用来描述真实世界…

导读 身处在现在这个大数据时代,我们处理的数据量需以 TB.PB, 甚至 EB 来计算,怎么处理庞大的数据集是从事数据库领域人员的共同问题.解决这个问题的核心在于,数据库中存储的数据是否都是有效的.有用的数据,因此如何提高数据中有效数据的利用率.将无效的过期数据清洗掉,便成了数据库领域的一个热点话题.在本文中我们将着重讲述如何在数据库中处理过期数据这一问题. 在数据库中清洗过期数据的方式多种多样,比如存储过程.事件等等.在这里笔者举个例子来简要说明 DBA 经常使用的存储过程 + 事件来清理过期…