本文首发于 Nebula Graph Community 公众号

嗨，大家好！Nebula Operator 开源也有一段时间了，之前也有一篇相关的博客介绍，但是实践相关的博客却还没有，现在：

它来了！来了！它带着实践走来了！

Nebula Operator 介绍

关于 Nebula Operator 的介绍，大家可以参考之前那篇博客：一文详解云上自动化部署集群管理工具 Nebula Operator。

本文将主要侧重于实践方向，让你能很快地入手 Nebula Operator，体验图数据库的乐趣！

Nebula Operator云上实践

到这里，开始进入正题，本文将使用阿里云进行 Nebula Operator 实践，其他云厂商类似。

安装工具

本次实践需要在操作电脑上安装如下基础工具：

以上基础工具相关的安装方法请参考对应链接。

创建云上 Kubernetes

因为 Operator 是依托于 Kubernetes 的，所以在进行 Nebula Operator 实践之前，需要先准备好 Kubernetes 环境。

首先进入到阿里云的控制台，然后进入到容器服务 Kubernetes 版，再创建一个集群。此实践选择的是 ACK 托管版，相关的创建参数请按需选择。

注意： 为了方便外网访问 Kubernetes API Server ，本次实践勾选了使用 EIP 暴露 API Server，你可以根据自身情况选择是否启用，如果不开启，你需要打通操作电脑与 Kubernetes 的之间网络。其他参数请按需选择。

等待 Kubernetes 集群启动后，将集群的连接信息中公网访问中的内容复制到计算机$HOME/.kube/config文件中。

然后你可以使用如下命令验证下 Kubernetes 集群：

$ kubectl get nodes

NAME                         STATUS   ROLES    AGE   VERSION

cn-beijing.192.168.250.13    Ready    <none>   51m   v1.20.4-aliyun.1

cn-beijing.192.168.250.185   Ready    <none>   51m   v1.20.4-aliyun.1

cn-beijing.192.168.250.89    Ready    <none>   51m   v1.20.4-aliyun.1

安装 Nebula Operator 依赖

在安装 Nebula Operator 之前，还需要先安装一些依赖。

安装 CertManager

# 安装 CertManager

$ helm install cert-manager cert-manager --repo https://charts.jetstack.io \

    --namespace cert-manager --create-namespace --version v1.3.1 \

    --set installCRDs=true

# 稍等一会儿，检测 CertManager 是否启动正常

$ kubectl -n cert-manager get pod

NAME                                       READY   STATUS    RESTARTS   AGE

cert-manager-7998c69865-jfw9x              1/1     Running   0          93s

cert-manager-cainjector-7b744d56fb-846w9   1/1     Running   0          93s

cert-manager-webhook-7d6d4c78bc-ssk4w      1/1     Running   0          93s

安装 OpenKruise

# 安装 OpenKruise

$ helm install kruise \

    https://github.com/openkruise/kruise/releases/download/v0.8.1/kruise-chart.tgz

# 稍等一会儿，检测 OpenKruise 是否启动正常

$ kubectl -n kruise-system get pod

NAME                                         READY   STATUS    RESTARTS   AGE

kruise-controller-manager-6797f89d9b-ppv65   1/1     Running   0          49s

kruise-controller-manager-6797f89d9b-wlkbd   1/1     Running   0          49s

kruise-daemon-7rljq                          1/1     Running   0          49s

kruise-daemon-8kd8d                          1/1     Running   0          49s

kruise-daemon-n6tdw                          1/1     Running   0          49s

添加 Nebula Operator Charts

# 添加 Nebula Operator Charts Repo

$ helm repo add nebula-operator https://vesoft-inc.github.io/nebula-operator/charts

# 更新 repo

$ helm repo update

安装 Nebula Operator

由于阿里云上无法拉取gcr.io和k8s.gcr.io镜像，因此需要指定国内镜像，这里进行了如下替换：

原镜像 替换后镜像
gcr.io/kubebuilder/kube-rbac-proxy:v0.8.0 kubesphere/kube-rbac-proxy:v0.8.0
k8s.gcr.io/kube-scheduler:v1.18.8 kubesphere/kube-scheduler:v1.18.8

你可以通过如下命令查看所有可以设置的参数：

$ helm show values nebula-operator/nebula-operator

此次实践中的安装命令如下：

# 安装 Nebula Operator

$ helm install nebula-operator nebula-operator/nebula-operator \

    --namespace nebula-operator-system --create-namespace --version 0.1.0 \

    --set image.kubeRBACProxy.image=kubesphere/kube-rbac-proxy:v0.8.0 \

    --set image.kubeScheduler.image=kubesphere/kube-scheduler:v1.18.8

# 稍等一会儿，检测 Nebula Operator 是否启动正常

$ kubectl -n nebula-operator-system get pod

NAME                                                             READY   STATUS    RESTARTS   AGE

nebula-operator-controller-manager-deployment-6968547fff-k62b4   2/2     Running   0          19s

nebula-operator-controller-manager-deployment-6968547fff-lhpdx   2/2     Running   0          19s

nebula-operator-scheduler-deployment-7c5fc7945-hbkv8             2/2     Running   0          19s

nebula-operator-scheduler-deployment-7c5fc7945-sxc7w             2/2     Running   0          19s

如果你自定义了 Kubernetes 的 Cluster Domain ，则需要修改安装命令，增加设置kubernetesClusterDomain，如下：

# 安装 Nebula Operator ，请修改 <<YourCustomCLusterDomain>>

$ helm install nebula-operator nebula-operator/nebula-operator \

    --namespace nebula-operator-system --create-namespace --version 0.1.0 \

    --set image.kubeRBACProxy.image=kubesphere/kube-rbac-proxy:v0.8.0 \

    --set image.kubeScheduler.image=kubesphere/kube-scheduler:v1.18.8 \

    --set kubernetesClusterDomain=<<YourCustomCLusterDomain>>

部署 Nebula Cluster

至此，Nebula Operator 已经就绪，接下来安装Nebula Cluster来体验图数据吧！

首先，需要获取StorageClass，这个将会用来设置Nebula Cluster所使用的存储。

$ kubectl get sc

NAME                       PROVISIONER                       RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE

alicloud-disk-available    diskplugin.csi.alibabacloud.com   Delete          Immediate              true                   100m

alicloud-disk-efficiency   diskplugin.csi.alibabacloud.com   Delete          Immediate              true                   100m

alicloud-disk-essd         diskplugin.csi.alibabacloud.com   Delete          Immediate              true                   100m

alicloud-disk-ssd          diskplugin.csi.alibabacloud.com   Delete          Immediate              true                   100m

alicloud-disk-topology     diskplugin.csi.alibabacloud.com   Delete          WaitForFirstConsumer   true                   100m

从上面得知，阿里云目前支持5种StorageClass。此次实践将会使用alicloud-disk-ssd。其他云厂商会有对应的StorageClass，请按照实际情况进行选择。

*注意：每个云厂商可能对于申请存储的大小有范围限制，比如阿里云对于 SSD 限制在20 Gi到32,768 Gi，在创建Nebula Cluster的时候需要注意下。

你可以通过如下命令查看所有可以设置的参数：

$ helm show values nebula-operator/nebula-cluster

此次实践中的安装命令如下：

# 创建 Nebula Cluster 的名称

$ export NEBULA_CLUSTER_NAME=nebula

# 创建 Nebula Cluster 的 namespace

$ export NEBULA_CLUSTER_NAMESPACE=nebula

# 创建 Nebula Cluster 的 StorageClass 名称，这里设置为之前查找到的 alicloud-disk-ssd

$ export STORAGE_CLASS_NAME=alicloud-disk-ssd

# 创建 Nebula Cluster 中每个组建所使用存储的大小

$ export STORAGE_SIZE_GRAPHD=20Gi

$ export STORAGE_SIZE_METAD=20Gi

$ export STORAGE_SIZE_STORAGED=20Gi

# 创建 Nebula Cluster

$ helm install ${NEBULA_CLUSTER_NAME} nebula-operator/nebula-cluster \

    --namespace ${NEBULA_CLUSTER_NAMESPACE} --create-namespace --version 0.1.0 \

    --set nameOverride=${NEBULA_CLUSTER_NAME} \

    --set nebula.storageClassName="${STORAGE_CLASS_NAME}" \

    --set nebula.graphd.storage="${STORAGE_SIZE_GRAPHD}" \

    --set nebula.metad.storage="${STORAGE_SIZE_METAD}" \

    --set nebula.storaged.storage="${STORAGE_SIZE_STORAGED}"

# 稍等一会儿，检测 Nebula Cluster 是否启动正常

$ kubectl -n ${NEBULA_CLUSTER_NAMESPACE} get nebulacluster

NAME     GRAPHD-DESIRED   GRAPHD-READY   METAD-DESIRED   METAD-READY   STORAGED-DESIRED   STORAGED-READY   AGE

nebula   2                2              3               3             3                  3                4m10s

$ kubectl -n ${NEBULA_CLUSTER_NAMESPACE} get pod

NAME                READY   STATUS    RESTARTS   AGE

nebula-graphd-0     1/1     Running   0          96s

nebula-graphd-1     1/1     Running   0          96s

nebula-metad-0      1/1     Running   0          97s

nebula-metad-1      1/1     Running   0          97s

nebula-metad-2      1/1     Running   0          97s

nebula-storaged-0   1/1     Running   0          97s

nebula-storaged-1   1/1     Running   0          97s

nebula-storaged-2   1/1     Running   0          97s

当然，也可以将Storaged实例升级到5个，执行命令如下：

# 升级 Nebula Cluster

$ helm upgrade ${NEBULA_CLUSTER_NAME} nebula-operator/nebula-cluster \

    --namespace ${NEBULA_CLUSTER_NAMESPACE} --create-namespace --version 0.1.0 \

    --set nameOverride=${NEBULA_CLUSTER_NAME} \

    --set nebula.storageClassName="${STORAGE_CLASS_NAME}" \

    --set nebula.graphd.storage="${STORAGE_SIZE_GRAPHD}" \

    --set nebula.metad.storage="${STORAGE_SIZE_METAD}" \

    --set nebula.storaged.storage="${STORAGE_SIZE_STORAGED}" \

    --set nebula.storaged.replicas=5

# 稍等一会儿，检测 Nebula Cluster 是否启动正常

$ kubectl -n ${NEBULA_CLUSTER_NAMESPACE} get nebulacluster

NAME     GRAPHD-DESIRED   GRAPHD-READY   METAD-DESIRED   METAD-READY   STORAGED-DESIRED   STORAGED-READY   AGE

nebula   2                2              3               3             5                  5                6m12s

$ kubectl -n ${NEBULA_CLUSTER_NAMESPACE} get pod

NAME                READY   STATUS    RESTARTS   AGE

nebula-graphd-0     1/1     Running   0          2m30s

nebula-graphd-1     1/1     Running   0          2m30s

nebula-metad-0      1/1     Running   0          2m30s

nebula-metad-1      1/1     Running   0          2m30s

nebula-metad-2      1/1     Running   0          2m30s

nebula-storaged-0   1/1     Running   0          2m30s

nebula-storaged-1   1/1     Running   0          2m30s

nebula-storaged-2   1/1     Running   0          2m30s

nebula-storaged-3   1/1     Running   0          52s

nebula-storaged-4   1/1     Running   0          52s

详细的安装说明请见：使用 Helm 安装 Nebula Operator。

访问 Nebula Cluster

终于，Nebula Cluster 启动成功了，接下来开始访问集群吧！

Kubernetes 内部访问

首先，在 Kubernetes 中启动一个 Nebula Graph Console，执行命令如下：

$ cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: Pod

metadata:

  name: nebula-console

spec:

  containers:

    - name: nebula-console

      image: vesoft/nebula-console:v2-nightly

      command:

      - sleep

      - "1000000"

EOF

然后再通过刚才创建的 Nebula Graph Console 来访问集群，如下：

$ kubectl exec -it nebula-console -- \

    nebula-console -u u -p p --addr ${NEBULA_CLUSTER_NAME}-graphd-svc.${NEBULA_CLUSTER_NAMESPACE}.svc --port 9669

2021/06/23 06:21:22 [INFO] connection pool is initialized successfully

Welcome to Nebula Graph!

(u@nebula) [(none)]> show hosts

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| Host                                                                  | Port | Status   | Leader count | Leader distribution  | Partition distribution |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| "nebula-storaged-0.nebula-storaged-headless.nebula.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| "nebula-storaged-1.nebula-storaged-headless.nebula.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| "nebula-storaged-2.nebula-storaged-headless.nebula.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| "nebula-storaged-3.nebula-storaged-headless.nebula.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| "nebula-storaged-4.nebula-storaged-headless.nebula.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| "Total"                                                               |      |          | 0            |                      |                        |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

Got 4 rows (time spent 7669/9367 us)

Wed, 23 Jun 2021 06:21:26 UTC

Kubernetes 外部访问

Kubernetes 内部的服务在集群外部要想访问，可以使用hostPort、hostNetwork、Ingress、LoadBalancer等。这里利用云厂商的便利性，直接使用LoadBalancer来访问集群。

注意：此方法会暴露你的 Nebula 集群，请勿在生产环境使用。

首先，将Graphd Service的type改成LoadBalancer，然后再查看EXTERNAL-IP。

# 将 service 的 type 改成 LoadBalancer

$ kubectl patch -n ${NEBULA_CLUSTER_NAMESPACE} svc ${NEBULA_CLUSTER_NAME}-graphd-svc \

    -p '{"spec": {"type": "LoadBalancer"}}'

# 获取 EXTERNAL-IP ，如果为 pending ，请稍等一会儿再重试

$ kubectl -n ${NEBULA_CLUSTER_NAMESPACE} get svc nebula-graphd-svc

NAME                TYPE           CLUSTER-IP      EXTERNAL-IP     PORT(S)                                          AGE

nebula-graphd-svc   LoadBalancer   172.16.85.222   x.x.x.x         9669:31460/TCP,19669:32579/TCP,19670:31481/TCP   27m

现在，可以根据EXTERNAL-IP来访问集群了，比如此处为x.x.x.x。

$ export EXTERNAL_IP=x.x.x.x

$ docker run -it --rm vesoft/nebula-console:v2-nightly -u u -p p --addr ${EXTERNAL_IP} --port 9669

2021/06/23 06:42:17 [INFO] connection pool is initialized successfully

Welcome to Nebula Graph!

(u@nebula) [(none)]> show hosts

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| Host                                                                  | Port | Status   | Leader count | Leader distribution  | Partition distribution |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| "nebula-storaged-0.nebula-storaged-headless.nebula.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| "nebula-storaged-1.nebula-storaged-headless.nebula.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| "nebula-storaged-2.nebula-storaged-headless.nebula.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| "nebula-storaged-3.nebula-storaged-headless.nebula.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| "nebula-storaged-4.nebula-storaged-headless.nebula.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

| "Total"                                                               |      |          | 0            |                      |                        |

+-----------------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+

Got 4 rows (time spent 3747/60433 us)

Wed, 23 Jun 2021 06:42:21 UTC

享用时间

大功告成！

尽情地在 Nebula Graph 中驰骋吧！

Nebula Operator 云上实践的更多相关文章

  1. ShardingSphere 云上实践：开箱即用的 ShardingSphere-Proxy 集群

    本次 Apache ShardingSphere 5.1.2 版本更新为大家带来了三大全新功能,其中之一即为使用 ShardingSphere-Proxy chart 在云环境中快速部署一套 Shar ...

  2. 峰值利用率80%+，视频云离线转码自研上云TKE实践

    作者 刘兆瑞,腾讯云高级研发工程师,负责腾讯明眸极速高清,画质重生等产品.专注于codec优化,画质增强等技术. 背景和问题 随着流量资费的降低和带宽的增加,视频成为人们获取信息越来越重要的方式,随之 ...

  3. 基于消息队列 RocketMQ 的大型分布式应用上云最佳实践

    作者|绍舒 审核&校对:岁月.佳佳 编辑&排版:雯燕 前言 消息队列是分布式互联网架构的重要基础设施,在以下场景都有着重要的应用: 应用解耦 削峰填谷 异步通知 分布式事务 大数据处理 ...

  4. 在阿里云上搭建nginx + ThinkPHP 的实践

    作为一个程序猿,理应用linux系统来作为平时的工作机环境,哎,之前倒是用过一段时间的linux,可惜后来换了本本,后来竟然没有保持,嗷嗷后悔中... 废话不多说,大家用windows的理由都一样,但 ...

  5. 一面数据： Hadoop 迁移云上架构设计与实践

    背景 一面数据创立于 2014 年,是一家领先的数据智能解决方案提供商,通过解读来自电商平台和社交媒体渠道的海量数据,提供实时.全面的数据洞察.长期服务全球快消巨头(宝洁.联合利华.玛氏等),获得行业 ...

  6. 基于 Nebula Operator 的 K8s 自动化部署运维

    摘要:Nebula Operator 是 Nebula Graph 在 Kubernetes 系统上的自动化部署运维插件.在本文,你将了解到 Nebula Operator 的特性及它的工作原理. 从 ...

  7. Kubernetes 降本增效标准指南 | 基于K8s 扩展机制构建云上成本控制系统

    作者 王玉君,腾讯云后台高级开发工程师,负责腾讯云原生系统开发及建设. 晏子怡,腾讯云容器产品经理,在K8s弹性伸缩.资源管理领域有丰富的实战经验. 导语 Kubernetes 作为 IaaS 和 P ...

  8. Storm实战：在云上搭建大规模实时数据流处理系统（Storm+Kafka）

    在大数据时代,数据规模变得越来越大.由于数据的增长速度和非结构化的特性,常用的软硬件工具已无法在用户可容忍的时间内对数据进行采集.管理和处理.本文主要介绍如何在阿里云上使用Kafka和Storm搭建大 ...

  9. 在腾讯云上创建您的SQL Cluster(4)

    版权声明:本文由李斯达原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/255 来源:腾云阁 https://www.qclo ...

  10. 在腾讯云上创建您的SQL Cluster(3)

    版权声明:本文由李斯达原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/250 来源:腾云阁 https://www.qclo ...

随机推荐

  1. scss常用语法

    在线编译 https://wow.techbrood.com/fiddle/11143 群组选择器的嵌套[编译前] .container { h1, h2, h3 {margin-bottom: .8 ...

  2. linxu下面的绝对路径和相对路径

    绝对路径和相对路径 前言 相对路径与绝对路径 绝对路径 相对路径 目录的相关操作 绝对路径和相对路径 前言 学习linux,对于里面的路径肯定要很清楚.做下总结吧. 相对路径与绝对路径 绝对路径 路径 ...

  3. 随机 Transformer

    在这篇博客中,我们将通过一个端到端的示例来讲解 Transformer 模型中的数学原理.我们的目标是对模型的工作原理有一个良好的理解.为了使内容易于理解,我们会进行大量简化.我们将减少模型的维度,以 ...

  4. SpringBoot接入阿里云oss

    1.pom中添加阿里云oss坐标 <?xml version="1.0" encoding="utf-8"?> <dependencies&g ...

  5. 【Python】一篇拿下类属性与类方法详解【超详细的注释和解释】

    文章目录 前言 类的实例化 类的非静态属性或方法(实例属性和方法) 类的静态属性和方法 静态属性(静态成员变量) 静态方法 类方法(静态成员函数) 总结 属性的访问权限 尾声 前言 先赞后看好习惯 打 ...

  6. 2022 多益网络hr面

    不知道为啥 我的一面是hr面试,面试官是一个小姐姐,整个面试过程还是比较轻松的 废话不多说,直接上题目 自我介绍(巴拉巴拉巴拉...) 有参与过什么团队协作项目吗,担任了一个什么样的角色,怎么分配任务 ...

  7. 教你用JavaScript实现实时字符计数器

    案例介绍 欢迎来到我的小院,我是霍大侠,恭喜你今天又要进步一点点了!我们来用JavaScript编程实战案例,做一个实时字符计数器.用户在指定位置打字,程序实时显示字符数量. 案例演示 在编辑框内输入 ...

  8. Hadoop的stop-all无法关闭集群原因及解决方案

    问题现象:在服务器上长时间运行hadoop之后,如果运行stop-all.sh,会发现: [root@node1 sbin]# stop-all.shThis script is Deprecated ...

  9. The Missing Semester - 第五讲 学习笔记

    第五讲 命令行环境 课程视频地址:https://www.bilibili.com/video/BV1Dy4y1a7BW 课程讲义地址:https://missing-semester-cn.gith ...

  10. Python 中获取文件名

    Python 获取文件名import osimport sys # ①获取当前文件名os.path.basename(__file__)# ②获取程序启动文件名os.path.basename(sys ...