GraphScope 集群部署

1 k8s集群搭建

大致步骤如下:

  1. 安装docker。在ubuntu上,可以简单的通过命令sudo apt install docker.io来安装。
  2. 安装kubelet、kubeadm、kubectl。由于国内源无法访问,可能需要添加镜像,比如:
tee /etc/apt/sources.list <<-'EOF'
deb https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial main
EOF
  1. 安装网络插件。如Calico。

以上过程可以参考 http://docs.tianshu.org.cn/docs/setup/deploy-kubernetes-cluster。文档中提供了一键脚本快速部署(适用于Ubuntu16.04和Ubuntu18.04),可以通过https://pan.baidu.com/s/1c89VAq_1qPBf_5URqSkBdw提取码wpwb获取。

获取之后

unzip dubheDeployScriptfile.zip
cd dubheDeployScriptfile/k8s1.16.2-ubuntu/

配置base.config

# 主节点(master节点)IP地址
masterip="172.16.123.1" # 过滤IP段,用于过滤得到服务器的IP地址
ip_segment="172.16.123" # k8s版本
k8s_version="v1.16.2" # root用户密码,请设置k8s集群所有服务器root用户密码为统一密码
root_passwd="abcdefghijklmn" # 集群所有节点ip,有几台填几台
hostip=(
172.16.123.1
172.16.125.2
172.16.125.3
)
#以下两项会自动生成,不用填写!
tocken=
sha_value=

然后运行

bash k8s1.16.2.sh

运行方式基本按照文档中说明,其中有两点需要注意:

  1. 在非主节点上都开启ssh的root访问权限,并在base.config中配置密码。这一步主要是拷贝apt-key.gpg base.config node_install_k8s.sh del_kube.sh ssh_trust_init.exp ssh_trust_add.exp这几个文件到worker节点。如果有其它方式拷贝,也可以不管,到这一步,master节点的集群基本部署成功。其中base.config中的保存了主节点的token和sha_value,这两个值对worker节点加入集群至关重要,取值样例如下:
token=s52vwv.gdx1qymhrdx8v5uq
sha_value=88c78df7457c1f74e065fbedd9ddee967cc4a4e4dd003e69f9d64374e3e5d903
  1. 如果多次运行脚本,base.config中的token和sha_value会被反复串接,此时在worker节点运行会无法加入master节点。每次重新运行脚本要把base.config中的token和sha_value清空。即使串接了,也能识别出来,只是要手动加入,当前主节点的token和sha_value应分别为前23位(以 . 号分隔)和前64位。

如果添加了新的机器,在环境都已配置好的情况下(运行脚本nodenode_install_k8s.sh即可),单纯加入集群可以使用以下命令:

kubeadm join 172.16.125.100:6443 --token 8urlva.75zrerl6uctfenec \
--discovery-token-ca-cert-hash sha256:c462c05da6c3685a334b1b1743d4d9b30a38b78208c338f03f5e7d67befaf8bb

注意token和sha256都要替换成对应的master节点的token和sha256。

2 拉取graphscope镜像

这个GraphScope提供的官方安装教程没有说明,在其一键安装脚本里倒有体现(这个脚本不太好用,亲测没有安装成功过)。这个主要影响graphscope创建会话的时候,比如

import graphscope
graphscope.set_option(show_log=True)
sess = graphscope.session()

在没有提前拉取镜像的情况下,创建session的时候就会卡住或者出错,因为创建的时候默认是会去拉取docker镜像的, 而这个镜像很大(有8.39GB),网络条件不好的情况下很难拉取成功。所以最好提前拉取:

docker pull registry.cn-hongkong.aliyuncs.com/graphscope/graphscope:0.8.0
docker pull quay.io/coreos/etcd:v3.4.13

0.8.0是安装的graphscope版本号,可以通过命令python -c "import graphscope; print(graphscope.__version__)"获得。

如果是用kind安装的,还要运行以下命令:

kind load docker-image registry.cn-hongkong.aliyuncs.com/graphscope/graphscope:0.8.0
kind load docker-image quay.io/coreos/etcd:v3.4.13

GraphScope 集群部署的更多相关文章

  1. Quartz.net持久化与集群部署开发详解

    序言 我前边有几篇文章有介绍过quartz的基本使用语法与类库.但是他的执行计划都是被写在本地的xml文件中.无法做集群部署,我让它看起来脆弱不堪,那是我的罪过. 但是quart.net是经过许多大项 ...

  2. Openfire 集群部署和负载均衡方案

    Openfire 集群部署和负载均衡方案 一.   概述 Openfire是在即时通讯中广泛使用的XMPP协议通讯服务器,本方案采用Openfire的Hazelcast插件进行集群部署,采用Hapro ...

  3. 基于Tomcat的Solr3.5集群部署

    基于Tomcat的Solr3.5集群部署 一.准备工作 1.1 保证SOLR库文件版本相同 保证SOLR的lib文件版本,slf4j-log4j12-1.6.1.jar slf4j-jdk14-1.6 ...

  4. jstorm集群部署

    jstorm集群部署下载 Install JStorm Take jstorm-0.9.6.zip as an example unzip jstorm-0.9.6.1.zip vi ~/.bashr ...

  5. CAS 集群部署session共享配置

    背景 前段时间,项目计划搞独立的登录鉴权中心,由于单独开发一套稳定的登录.鉴权代码,工作量大,最终的方案是对开源鉴权中心CAS(Central Authentication Service)作适配修改 ...

  6. Windows下ELK环境搭建(单机多节点集群部署)

    1.背景 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时 ...

  7. 理解 OpenStack + Ceph (1):Ceph + OpenStack 集群部署和配置

    本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 ...

  8. HBase集成Zookeeper集群部署

    大数据集群为了保证故障转移,一般通过zookeeper来整体协调管理,当节点数大于等于6个时推荐使用,接下来描述一下Hbase集群部署在zookeeper上的过程: 安装Hbase之前首先系统应该做通 ...

  9. SolrCloud-5.2.1 集群部署及测试

    一. 说明 Solr5内置了Jetty服务,所以不用安装部署到Tomcat了,网上部署Tomcat的资料太泛滥了. 部署前的准备工作: 1. 将各主机IP配置为静态IP(保证各主机可以正常通信,为避免 ...

随机推荐

  1. Windows平台编译器相关的几个预定义宏

    WIN32 是在windows.h 中定义的宏,包含winodws.h则定义该宏 _WIN32/_WIN64跟windows平台有关的宏,_WIN32在windows   32位和64位下都有该宏,_ ...

  2. 洛谷 P4555 [国家集训队]最长双回文串

    链接: P4555 题意: 在字符串 \(S\) 中找出两个相邻非空回文串,并使它们长度之和最大. 分析: 直接使用马拉车算法求出每个点扩展的回文串.如果枚举两个回文串显然会超时,我们考虑切割一个长串 ...

  3. ubuntn 一直循环登录界面 (卸载nvidia驱动)

    由于在Ubuntu下安装了Nvidia显卡驱动后开机一直处于循环登录界面,密码输入正确也是进不去,然后就决定卸载Nvidia显卡驱动.首先是在能使用tty1登录的情况下,使用 $ sudo apt-g ...

  4. 痞子衡嵌入式:借助Serial Plot软件测量i.MXRT系列FlexSPI驱动Flash页编程执行时间

    大家好,我是痞子衡,是正经搞技术的痞子.今天痞子衡给大家介绍的是i.MXRT系列FlexSPI驱动Flash页编程执行时间. 痞子衡之前写过一篇文章 <串行NOR Flash的页编程模式对于量产 ...

  5. Go语言核心36讲(Go语言进阶技术十三)--学习笔记

    19 | 错误处理(上) 提到 Go 语言中的错误处理,我们其实已经在前面接触过几次了. 比如,我们声明过error类型的变量err,也调用过errors包中的New函数. 我们说过error类型其实 ...

  6. Oracle 19c 单机

    环境 vm虚拟机 双磁盘 操作系统 Oracle Linux 7.9 操作系统安装带图形 选择中文,注意不要新建用户 关闭防火墙 selinux 配置好IP 挂载系统盘镜像 修改主机名 配置hosts ...

  7. 力扣 - 剑指 Offer 67. 把字符串转换成整数

    题目 剑指 Offer 67. 把字符串转换成整数 思路1 根据题意,要解决这题,首先要判断的条件有: 不包括首位空格 第一位必须为:+.-.数字三者其一,否则不合法 数字必须连续的,如果遇到非数字, ...

  8. 解决虚拟机安装linux系统无法全屏问题 & vmtools安装

    修改设置 1) 如下图右单击虚拟机名,选择[settings-],调出虚拟机设置界面. 2) 在设置界面选择[hardware]->[CD/DVD2(IDE)]->[Connection] ...

  9. Linux ns 3. Mnt Namespace 详解

    1. 文件系统层次化 对 Linux 系统来说一切皆文件,Linux 使用树形的层次化结构来管理所有的文件对象. 完整的Linux文件系统,是由多种设备.多种文件系统组成的一个混合的树形结构.我们首先 ...

  10. 3组-Alpha冲刺-2/6

    一.基本情况 队名:发际线和我作队 组长博客:链接 小组人数:10 二.冲刺概况汇报 黄新成(组长) 过去两天完成了哪些任务 文字描述 在校内外进行了数据采集,采集了多场景的数据,并进行了帧分割. 展 ...