为了帮助充分利用AWS的托管服务快速构建起一套集群环境,彻底去掉“单一故障点”,实现最高的可用性,我们准备了《低代码智能集群@AWS的架构与搭建方案》看完本文,带你掌握“基于nginx配置服务器集群”。

应用场景

如果你需要解决如下的问题,可以考虑搭建一套活字格@AWS智能集群:

  • 保障系统高可用,全面降低停服风险
  • 在做好各项性能优化(参考系列教程)的前提下,需要进一步提升性能,以满足大并发量请求的响应速度

集群能力

本方案是低代码与亚马逊AWS提供的一套高可用负载均衡解决方案,在低代码智能集群的基础上,通过引入ALB等托管服务,进一步提升可用性。本方案提供的主要能力如下:

  • 高可用
  • 负载均衡
  • 可用性监控

特别提示:智能集群不兼容内建SQLite数据库,您需要在外联数据库上构建数据表和业务。

搭建方案

集群需要用到亚马逊提供的EC2负载均衡器(ALB模式)、ElasticCache Redis集群、Elastic File Systems、RDS for MySQL、CloudWatch托管服务,还需要用到nginx实现应用服务器内部的端口转发。对上述技术的了解程度,很大程度上决定了您搭建出的集群的安全性、性能和可用性。

网络拓扑简图

为了实现高可用的目标,本方案的应用服务器设计为位于不同可用区的2台EC2,其他托管服务也选择了多可用区的配置。

步骤1:配置EFS

在AWS控制台中选择EFS服务,创建文件系统,点击“自定义”按钮后,按照下面的推荐值完成配置:

  • 存储类:标准
  • 挂载目标:选择至少2个可用区
  • 安全组:选择的安全组中需要允许2049端口(你可以在EC2服务的控制台上找到“网络与安全→安全组”创建一个安全组)

创建完成后,等文件系统的文件系统状态变成“可用”,点击刚创建的文件系统,DNS名称就是用来访问该EFS的地址,记录下来备用。

步骤2:配置RDS

RDS的默认安全设置与活字格不兼容。所以,在创建数据库前,你需要创建参数组,具体做法如下:

在AWS控制台中选择RDS服务,在“资源”区域,点击“参数组”,创建新的参数组,选择和创建RDS时一致的版本,示例中组名和描述都设置为“huozige-aws”。点击创建好的参数组,在搜索框中输入“log_bin_trust_function_creators”,然后点击“编辑参数”按钮,将值修改为1。

然后回到控制台,点击“创建数据库”,点击“标准创建”后,按照下面的推荐值完成配置:

  • 引擎类型:MySQL
  • 版本:MySQL 5.6.x、5.7.x、8.0.x都可以,示例选择的是5.7.38
  • 模板:生产
  • 设置-主密码:你的登录密码,示例设置的是123456
  • 数据库实例类:根据并发用户数、业务数据量和预算选择
  • 分配的存储空间:根据业务数据量选择,需要注意的是活字格不会将用户上传的文件存放的数据库,不占用该存储空间
  • 多可用区实例:创建备用实例
  • 连接-公开访问:是
  • 安全组:选择的安全组中需要允许3306端口
  • 其他设置-参数组:刚创建的huozige-aws

创建完成后,等数据库的状态变成“可用”,点击刚创建的数据库实例,找到连接和安全性选项卡下的“终端节点”,这个就是数据库服务的地址,记录下来备用。使用本地安装的MySQL Workbrench等工具登录到该地址,创建一个userservicedb数据库备用。

步骤3:配置EC Redis

在AWS控制台中选择ElastiCache服务,点击右侧菜单中“资源→Redis集群”,点击“创建Redis集群”后,按照下面的推荐值完成配置:

  • 集群模式:已启用
  • 位置-多可用区:已启用
  • 引擎版本:推荐6.2
  • 节点类型:根据用户数量和预算选择,活字格会使用Redis存储用户会话,示例选择的是cache.t3.medium(3.09GB)
  • 子网组设置:创建新的子网组,确保“已选择 子网”包含不少于2个可用区
  • 安全组:选择的安全组中需要允许6379端口

创建完成后,等集群的状态变成“可用”,点击刚创建的集群,找到“主终端节点”,这个就是Redis的地址,记录下来备用。

步骤4:配置应用服务器

在AWS控制台中选择EC2服务,点击右侧菜单中“实例→实例”,点击“创建新实例”后,按照下面的推荐值完成配置:

  • 镜像:在【亚马逊云科技Marketplace】中搜索“GrapeCity Huozige Lowcode Development Platform”,选择官方提供的AMI镜像
  • 实例类型:根据应用复杂度、并发用户数和预算选择,示例中使用的是t3.meduim,推荐用于简单的部门级应用
  • 子网:应用服务器需要放到不同的可用区,如cn-northwest-1a和cn-northwest-1b
  • 安全组:选择的安全组中需要允许22端口(SSH)、22345端口(活字格应用发布)、8200(用于活字格应用服务器,可以在nginx.conf中修改)
  • ssh证书:妥善保管浏览器下载的pem格式的证书,这是远程登录EC2的唯一凭据。推荐所有EC2共享同一个证书,这样在登录时更方便一些

创建完成后,等实例状态变成“正在运行”后,点击查看详情,私有IPv4地址即内网IP,用于配置负载均衡器;公有IPv4 DNS是外网地址,用于监控(EC2实例停止后重新启动时,公有IPv4地址会发生变化,所以,不能使用这个地址做监控),记录下这两个值备用。点击“连接”按钮,进入SSH客户端选项卡,复制“示例”下的ssh命令,记录备用。

在Windows电脑上,将下载的pem证书拷贝到%homepath%(如C:\Users\Will)下,这里也是Windows终端的启动目录。启动终端,用EC2共的ssh命令就可以远程登录到该服务器,执行下面的安装和配置操作。

4.1 安装中文字体

受到版权限制,我们无法为您预置常用的“微软雅黑”等中文字体,如果您需要导出PDF功能,需要手动安装字体,具体方法见 帮助文档的第6节

4.2 安装和配置ngnix

nginx负责将各应用的端口统一成8200(可修改,需要和安全组的设置匹配)。

首先,我们需要安装nginx。安装完成后,修改ngnix.conf文件

sudo apt-get update
sudo apt-get install nginx

在http节点下,为管理控制台和每一个应用分别创建upstream

# 内置服务指向本机22345固定端口
upstream local-us{
server localhost:22345;
}
# 针对每个应用创建上游,指向本机即可
upstream local-e{
server localhost:8005;
}

然后,在http→server节点下,设置侦听端口,过滤location并转发管理控制台和每一个应用

server {
# 对外的端口号
listen 8200; server\_name huozige-aws-app-server.com;
proxy\_set\_header   Upgrade $http\_upgrade;
proxy\_set\_header   Connection keep-alive;
proxy\_set\_header   Host $host;
proxy\_cache\_bypass $http\_upgrade;
proxy\_set\_header   X-Forwarded-For $proxy\_add\_x\_forwarded\_for;
proxy\_set\_header   X-Forwarded-Proto $scheme;
proxy\_set\_header   X-Real-IP $remote\_addr;
# 转发内置服务
location ^~ /UserService/ {
proxy\_pass http://local-us/UserService/;
proxy\_redirect default;
}
# 针对每个应用做转发,去掉端口号
location ^~ /app\_e/ {
proxy\_pass http://local-e/app\_e/;
proxy\_redirect default;
}
}

配置文件修改完毕,让nginx做热加载,不中断服务器的前提下,读取新的配置

sudo nginx -s reload

4.3 挂载EFS目录

创建挂载用文件夹 /share,然后修改/etc/fstab文件,再执行重新加载命令,将EFS的文件系统挂载到该文件夹

sudo mkdir /share
sudo vim /etc/fstab
sudo mount -a

/etc/fstab的内容如下,其中fs-0402a832717e9d61e.efs.cn-northwest-1.amazonaws.com.cn为前面创建的NFS的地址:

fs-0402a832717e9d61e.efs.cn-northwest-1.amazonaws.com.cn:/ /share nfs4 nfsvers=4.1,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport,\_netdev 0 0

4.4 配置活字格负载均衡

完成上述环境准备后,我们需要依次登录应用服务的管理控制台站点(http://{应用服务器外网地址}:22345/UserService/ManagementPage/LoginPage),完成集群配置。配置页面在【设置】选项卡的【负载均衡配置】菜单。

  • 开启:勾选,启用负载均衡配置
  • 数据库类型:用户信息数据库的类型,示例中采用MySQL
  • 数据库链接字符串:用户信息数据库的链接字符串,即刚才搭建的支持服务器的RDS的userservicedb数据库
  • Redis服务地址:EC Redis的地址
  • 共享存储路径:用户存储应用和用户上传文件的共享目录,即刚才挂载EFS文件系统的本地目录

步骤5:配置ALB

ALB的配置分为负载均衡器和目标群组两部分。在2022.08版本AWS中,ALB的配置界面大多数是英文。

5.1 设置目标群组

首先,你需要基于第四步中创建的应用服务器信息设置目标群组。

在AWS控制台中选择EC2服务,点击右侧菜单中“负载均衡→目标群组”,点击Create target group按钮,按照下面的推荐值完成配置:

  • target type:IP addresses
  • Protocol/Port:HTTP/8000(8000是集群对外的统一服务端口,可修改)
  • Health check path:/UserService/ManagementPage/LoginPage (内置的页面,更适合用来做健康监测)

点击Next按钮,在Step 2区域里,添加步骤4中创建的应用服务器的内网IP,将Ports设置为8200(步骤4中应用服务器的应用端口);点击Include as pending below按钮,将其添加到候选列表,再点击Create target group按钮完成创建。

提示:没有关联到负载均衡器之前,targets的heath status都是Unused

5.2 设置负载均衡器

在AWS控制台中选择EC2服务,点击右侧菜单中“负载均衡→负载均衡器”,点击“创建负载均衡器”按钮,按照下面的推荐值完成配置:

  • Load balancer types: Application Load Balancer
  • Network mapping → Mappings:选择至少2个可用区
  • Security groups: 选择的安全组中需要允许8000端口(集群对外提供服务的端口,可修改)
  • Listeners and routing:监听HTTP,8000端口,Default action选择刚创建的目标群组

点击刚创建的负载均衡器,在描述选项卡下的DNS名称,就是集群对外提供服务地址了。

步骤6:配置CloudWatch

在AWS控制台中选择CloudWatch服务,点击右侧菜单中“应用程序监控→Synthetics Canary”,点击Canary版本区域的“创建Cannary版本”按钮,按照下面的推荐值完成配置:

  • 应用程序或端点 URL:添加负载均衡器端点,分别为http://{集群对外提供服务地址}:8000/UserService/ManagementPage/LoginPage,以及每个应用服务的对应的地址http://{应用服务器外网地址}:22345/UserService/ManagementPage/LoginPage
  • CloudWatch告警-可选:选择 失败 | 大于/等于 | 1 | 15分钟
  • 设置此Canary版本的通知:创建新主题,输入邮件标题(英文+数字)和你的邮箱地址,点击“创建主题”按钮。

点击“创建”按钮后,系统需要一分钟左右的时间进行处理,你需要留意刚才输入的邮箱地址,系统会给你发送一封邮件,点击该邮件上“Confirm subscription”连接,启用邮件通知。

文内实例下载地址:

https://gcdn.grapecity.com.cn/forum.php?mod=attachment&aid=MjI4NzczfDliZDZlY2ZjfDE2Njk2MDg3MTZ8NjI2NzZ8MTUyOTU1

拓展阅读

万物皆可集成系列:低代码对接企企云实现数据集成

万物皆可集成系列:低代码如何不成为数据孤岛

万物皆可集成系列:活字格对接泛微e-cology

集群部署看过来,低代码@AWS智能集群的架构与搭建方案的更多相关文章

  1. k8s集群部署之环境介绍与etcd数据库集群部署

    角色 IP 组件 配置 master-1 192.168.10.11 kube-apiserver kube-controller-manager kube-scheduler etcd 2c 2g ...

  2. CAS 集群部署session共享配置

    背景 前段时间,项目计划搞独立的登录鉴权中心,由于单独开发一套稳定的登录.鉴权代码,工作量大,最终的方案是对开源鉴权中心CAS(Central Authentication Service)作适配修改 ...

  3. 理解 OpenStack + Ceph (1):Ceph + OpenStack 集群部署和配置

    本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 ...

  4. etcd集群部署与遇到的坑(转)

    原文 https://www.cnblogs.com/breg/p/5728237.html etcd集群部署与遇到的坑 在k8s集群中使用了etcd作为数据中心,在实际操作中遇到了一些坑.今天记录一 ...

  5. (十)RabbitMQ消息队列-高可用集群部署实战

    原文:(十)RabbitMQ消息队列-高可用集群部署实战 前几章讲到RabbitMQ单主机模式的搭建和使用,我们在实际生产环境中出于对性能还有可用性的考虑会采用集群的模式来部署RabbitMQ. Ra ...

  6. Redis集群部署与维护

    Redis集群部署与维护 目录: 一. 集群架构 二. 集群部署 1. 创建redis-cluster目录 2. 编译redis 3. 编辑redis配置文件 4. 配置redis集群 5. redi ...

  7. 初识zookeeper以及安装和集群部署

    初识zookeeper以及安装和集群部署     一.Zookeeper单体版安装     在安装zookeeper之前要先安装jdk环境,具体在linux环境安装jdk1.8请参照linux笔记. ...

  8. Openfire 集群部署和负载均衡方案

    Openfire 集群部署和负载均衡方案 一.   概述 Openfire是在即时通讯中广泛使用的XMPP协议通讯服务器,本方案采用Openfire的Hazelcast插件进行集群部署,采用Hapro ...

  9. openstack(pike 版)集群部署(一)----基础环境部署

    一.环境 1.系统: a.CentOS Linux release 7.4.1708 (Core) b.更新yum源和安装常用软件 #  yum -y install  epel-release ba ...

  10. 160328、rabbitMQ集群部署示例

    环境:Centos 6.5 x86_64MQ网址:http://www.rabbitmq.com/SERVER101\SERVER102 SERVER103 一.单节点安装 #yum install ...

随机推荐

  1. Windows Powershell安装错误

    今天需要更新一下VMware的 powercli.使用命令install-module -Name VMware.PowerCLI -AllowClobber但是遇到一个错误. Unable to r ...

  2. Pytest测试框架一键动态切换环境思路及方案

    前言 在上一篇文章<Pytest fixture及conftest详解>中,我们介绍了fixture的一些关键特性.用法.作用域.参数等,本篇文章将结合fixture及conftest实现 ...

  3. 讲讲 tcp_tw_recycle,tcp_tw_reuse

    文章转载自:https://mp.weixin.qq.com/s?__biz=MzI1MDgwNzQ1MQ==&mid=2247485332&idx=1&sn=59823ce1 ...

  4. Security Context

    概述 Security Context(安全上下文)用来限制容器对宿主节点的可访问范围,以避免容器非法操作宿主节点的系统级别的内容,使得节点的系统或者节点上其他容器组受到影响. Security Co ...

  5. MySQL集群搭建(2)-主主从模式

    1 环境准备 上次我们搭建了主备架构,如下所示 这次我们的搭建目标是 具体配置信息 IP 系统 端口 MySQL版本 节点 读写 说明 192.168.41.83 Centos6.8 3306 5.7 ...

  6. Jenkins配置项目构建的钉钉通知

    在任意一个钉钉群里创建自定义的钉钉机器人,然后能够看到钉钉开放的webhook,复制webhook. Jenkins中安装钉钉插件,然后在项目的配置当中,构建后操作里添加钉钉报警. 安装钉钉通知插件 ...

  7. 工厂数字化转型离不开 MES 的原因是什么?

    工厂数字化转型是离不开 MES,首先得弄清楚什么是工厂数字化转型.什么是MES,它们的关系是怎样的. 数字化的主要含义是构建"业务数字化.数字资产化.资产服务化.服务业务化"闭环, ...

  8. 云原生虚拟网络 tun/tap & veth-pair

    云原生虚拟网络 tun/tap & veth-pair 转载请声明出处哦~,本篇文章发布于luozhiyun的博客:https://www.luozhiyun.com/archives/684 ...

  9. 微信小程序发布与支付

    一.小程序的发布流程 小程序协同工作和发布官网链接 1.背景 小程序的平台里,开发者完成开发之后,需要在开发者工具提交小程序的代码包,然后在小程序后台发布小程序. 2.流程 上传代码 代码管理服务器上 ...

  10. 谣言检测(PLAN)——《Interpretable Rumor Detection in Microblogs by Attending to User Interactions》

    论文信息 论文标题:Interpretable Rumor Detection in Microblogs by Attending to User Interactions论文作者:Ling Min ...