SAE 最佳实践范本:助力视野数科进入云原生“快车道”
阿里云生态金融科技行业标杆 ——
2021 年,云原生的商业价值正在被加速释放。
一个公认的事实是,Serverless 是当下云原生方向内绝对的亮点。可以看作,它的出现,让企业用户真正地免除运维负担,更专注于业务本身。换言之,企业可以基于按需付费的模式降本增效,实现技术的商业价值最大化。
在这场技术与商业互补的浪潮中,视野数科是一个鲜明的案例。基于阿里云 Serverless 应用引擎(SAE),视野数科已然全面升级为云原生架构,为金融科技全行业应用云原生提供了最佳业务实践范本。
视野数科成立于 2014 年,是国内首个专注服务于一级市场、公司信贷、产业规划招商、面向多层次资本市场的大数据金融信息服务商。和其他 to C 的运作逻辑不同的是,视野数科将数据产品与金融行业使用场景做了深层绑定,推出了一系列业务功能模块。
伴随业务不断升级,视野数科从为金融机构提供数据信息服务出发,近年来其客户已逐步扩展服务政府、产业园区、大型国企集团等,同时覆盖数据范围也从金融相关数据逐步延伸到产业产品数据、企业经营数据、宏观经济数据、政务数据、政策舆情数据、地理信息数据等,围绕客户数字化转型,为客户提供数据销售、数据整合、数据加工处理、数据中台、系统开发和大数据模型分析咨询服务的整体数据服务解决方案,助力中国产业数字化转型。
在金融数据提供商的角色定位之外,如今的视野数科正在迈入多产品线和多类型服务客群的新发展阶段,成为一个真正的金融产业数据服务方案解决商。
业务痛点当先,优选阿里云 Serverless 方案
在金融行业系统中,大数据的应用场景一直是敏感复杂的代名词。
以数据调用为例,大多数金融机构系统与外网隔离,需要数据服务公司搭建更适合这样场景下的数据服务体系或可以满足客户需求的嵌入式数据功能。对于客户来说,视野数科不仅提供常规的数据文件/数据同步/API 的数据服务方式还可以将数据以 SDK + 嵌入式的方式无缝嵌入到客户内部系统之中。
一方面,这简化了客户的开发成本,另一方面,则大大缩减了客户对大量的外部采购数据的实际使用投入的开发时间。
此外,和众多的金融科技公司一样,视野数科是自建 IDC + 公有云混合部署的模式。而在上云的探索中,视野数科一直是行业的先行者。早在 14 年,视野数科基于阿里云 ECS 服务器,使用开源自建+云产品组合使用,搭建了第一代基础设施云:整个架构以数据为核心,包括 SaaS 化数据服务平台、安全接入和防护、数据服务层,数据处理层、云安全等。
做为一家科技行业的创业公司来说,在创业之初是需要将业务快速跑起来,最初所有应用都是单体烟囱式架构、手工部署,但基于技术侧的短板,这些架构优化工作一直被耽搁。
但近两年这类基于技术架构的问题被日益凸显。可以看作,数据是企业业务的核心资产,数据的安全、稳定和效率是服务大型客户的关键。在固有的模型下,视野数科测试环境无法获取客户全量真实数据,很多 case 覆盖不到,只能等上线前,在灰度环境(等同预发)频繁发版 & 测试的过程中才暴露了一些问题:
1)开发迭代效率慢:单体烟囱式架构,代码耦合度高,开发效率慢。
2)上线流程复杂,成本高:使用 SVN 代码管理+人工部署,缺少规范化 DevOps 流程,每次上线前研发、质检、运维三个团队在灰度环境都需要大量的协作,来回折腾 20~30 次数据校验,频繁发版测试,开发和运维幸福感很差。
3)容量预估无法自动化:每次客户侧有营销活动/重要事件(如新华财经金融排名等),需提前一周告知视野数科备容 ECS,存在备容不准风险和闲置浪费问题。
针对以上的问题,视野数科自身的技术架构升级已剑在弦上。据了解,视野数科内部曾讨论过两个方案:
方案一:ECS 自建 Docker+开源微服务,发现能快速容器化&提升资源利用率,但底层基础施运维(DockerDaemon 升级、配置管理、镜像仓库管理等)和开发工作量大(微服务组件自研),上线运维风险高。简单 POC 之后,做出集体放弃的决定。
方案二:使用商业化的微服务 PaaS 平台托管应用,发现能降低微服务门槛,能为微服务组件的稳定性兜底,但 ECS 还需要自己运维还是很繁琐,而且整体费用太高超预算。
最终,在一次技术沟通会上了解到 SAE,结合公司当时的技术背景,发现 SAE 和公司的技术升级改造有很高的契合度,不改代码、不改变应用现有的部署方式,享受到微服务 + Serverless + K8s 的完整体验,开箱即用,也免去后期的运维。视野数科开启了架构升级的践行之路。
技术架构全面升级
工欲善其事,必先利其器。在正式迁移业务之前,视野数科做的第一件事就是标准化上线流程,期望通过持续集成来减负。
1)从 0 到 1 打造 Git + Jenkins + SAE 的云原生 DevOps 体系。
2)通过 SAE 低门槛完成微服务架构转型,一步升级为微服务 + K8s + Serverless 架构。
前期挑选了主线产品—防爬识别应用的新版本,尝试做微服务拆分。拆分后基于 Spring Cloud 标准开发,然后部署到 SAE。过程中发现 SAE 对 Java 微服务的支持实在是太全了:完全不需要客户考虑数据隔离、分布式事务、熔断设计、限流降级等,也无需担心社区维护力度有限二次定制开发的问题,开箱即用,极大提升了开发效率。而且在开源基础上,SAE 通过深度集成 MSE,提供了无损上下线、服务鉴权、全链路灰度等高级服务治理能力。帮助客户屏蔽 K8s 技术细节,让客户零门槛容器化,无感拥抱 K8s。
在实践 SAE 的过程中,采用了独立业务 + 用户灰度的策略,逐渐放大流量,将一部分业务陆续上线,然后再迁移历史存量应用。
持续演进,打造金融级云平台
因为金融行业的特殊性,在将 ECS 架构升级为 Serverless 架构的过程中,其实一开始很担心 SAE 不能匹配金融安全合规监管需求。但经过和 SAE 同学沟通确认,以及 SAE 产品的不断演进,彻底打消了视野的顾虑。
1)等保合规:在 ECS 模式下使用的云盾、防火墙、DDOS、保垒机等安全防护产品还继续可以使用,SAE 也提供入侵检测和漏洞扫描。SAE 后来也支持了容器镜像服务企业版部署应用,支持镜像安全扫描及多维度漏洞报告,保障存储及内容安全。
2)安全隔离:SAE 同学告知用户流量侧无倾入,选择 JDK 为 Dragonwell 后续还能支持通信加密。底层基于安全沙箱容器 + VPC 网络,能实现系统 + 网络 + 数据的多重安全隔离。
3)操作审计:在 SAE 上的一些操作,可以通过 SAE 独有的发布单回溯变更历史 。同时 SAE 也对接了云产品操作审计,能查询云上所有的操作行为日志和增删改查事件。
4)权限管控:SAE 还解决了一个老大难的问题:权限隔离和审批。以往 ECS 模式下,尤其是新人到岗或者跨团队联调时,配置用户组、RAM 权限,新机器登陆连接方式,非常繁琐,账号管理人员也时常会成为瓶颈。更重要的是运维操作没有审批,风险不可控,开发都有机器的用户名和密码,发布比较随意。
使用 SAE 后,以应用粒度添加权限,一个应用添加一次即可,省心省力。SAE 还通过主子账号设计了运维审批流程,有效收敛了线上随意发布带来的质量风险。
运维效率提升 60%,效果显著
通过和 SAE 平台不断的磨合验证,视野数科的一部分应用已经陆续迁移到 SAE。整个迁移过程平滑,无任何改造成本,零故障,并且只投入了 1 个研发人员。接下来计划将整体架构全面迁移到 SAE,充分享受云原生技术红利。
打造金融科技行业标杆,企业大数据大有可为
就当下而言,金融、工业、农业等很多行业正走在数字化的快车道之上。
其中金融行业足够特殊。一方面其数据源比较标准化,另一方面金融数据覆盖面和应用面相对较广泛,行业对数据的认可度较高。如今视野数科基于对核心金融机构服务的经验,已经在行业有口皆碑,其数据质量获得了行业一致好评。
据了解,当下视野数科已经打造了多条产品线,既有“无场景”化的数据查询平台,也有基于特定业务场景化的业务功能化平台。除了业界标准的数据外,其还为不同数据划分了更深层次,更全面的标签。
值得称道的是,视野数科面向国民经济的 100 多个产业链,6000 多个细分行业和接近 10 万种的“产品服务”分类投入了大量的研究力量,并产出了较为精准完善的产业分类体系。凭借对数据标签的深层次挖掘,构建出了其对各类企业相关数据的深层次加工和再计算能力。
总结
未来,金融科技的运用将成为中国金融行业的崭新增长点,通过技术驱动的金融创新将进一步帮助金融以及各行业领域实现效率的大幅度提升。基于此契机,视野数科也将踏浪而歌,持续在自己的赛道深耕,以产融数据动能推动金融行业数智化发展与转型,助力中国金融科技发展的新格局。[ 作者 | 胡阳(视野数科) ]
更多内容关注 Serverless 微信公众号(ID:serverlessdevs),汇集 Serverless 技术最全内容,定期举办 Serverless 活动、直播,用户最佳实践。
SAE 最佳实践范本:助力视野数科进入云原生“快车道”的更多相关文章
- EKS助力小白实践云原生——通过k8s部署wordpress应用
目前云原生在大厂已经有了充分的实践,也逐渐向小厂以及非互联网公司推广.适逢12月20日,腾讯云原生[燎原社]精心打造了云原生在线技术工坊,让零基础的同学也能快速入门和实践 Docker 和 Kuber ...
- 直播报名|资深云原生架构师分享服务网格在腾讯 IT 业务的落地实践
云原生在近几年的发展越来越火热,作为云上最佳实践而生的设计理念,也有了越来越多的实践案例,而一个个云原生案例的背后,是无声的巨大变革. 腾讯云主办首个云原生百科知识直播节目--<云原生正发声&g ...
- 云原生的弹性 AI 训练系列之一:基于 AllReduce 的弹性分布式训练实践
引言 随着模型规模和数据量的不断增大,分布式训练已经成为了工业界主流的 AI 模型训练方式.基于 Kubernetes 的 Kubeflow 项目,能够很好地承载分布式训练的工作负载,业已成为了云原生 ...
- 基于开源软件在Azure平台建立大规模系统的最佳实践
作者 王枫 发布于2014年5月28日 前言 Microsoft Azure 是微软公有云的唯一解决方案.借助这一平台,用户可以以多种方式部署和发布自己的应用. 这是一个开放的平台,除了对于Windo ...
- 腾讯云AI应用产品总监王磊:AI 在传统产业的最佳实践
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 背景:5月23-24日,以"焕启"为主题的腾讯"云+未来"峰会在广州召开,广东省各级政府机构领导.海 ...
- 最佳实践 | 数据库迁云解决方案选型 & 流程全解析
Oracle是非常强大的综合数据库,但同时也存在一些劣势,比如由于采用集中式架构,无法很好地实现横向扩展,并且其稳定性依赖于硬件.出于架构升级.降低成本和云化等需求,越来越多的企业需要“去Oracle ...
- 探索云数据库最佳实践 阿里云开发者大会数据库专场邀你一起Code up!
盛夏.魔都.科技 三者在一起有什么惊喜? 7月24日,阿里云峰会·上海——开发者大会将在上海世博中心盛大启程,与未来世界的开发者们分享数据库.云原生.开源大数据等领域的技术干货,共同探讨前沿科技趋势, ...
- CODING 携手优普丰,道器合璧打造敏捷最佳实践
随着全球进入到信息化时代,越来越多的企业迫切地寻求新的商业模式,要求迭代.探索.不断加速创新以响应快速变化的市场.如今一系列新兴概念如敏捷开发.极限编程.微服务.自动化.DevOps 等大行其道,然而 ...
- Prometheus Metrics 设计的最佳实践和应用实例,看这篇够了!
Prometheus 是一个开源的监控解决方案,部署简单易使用,难点在于如何设计符合特定需求的 Metrics 去全面高效地反映系统实时状态,以助力故障问题的发现与定位.本文即基于最佳实践的 Metr ...
- 基于消息队列 RocketMQ 的大型分布式应用上云最佳实践
作者|绍舒 审核&校对:岁月.佳佳 编辑&排版:雯燕 前言 消息队列是分布式互联网架构的重要基础设施,在以下场景都有着重要的应用: 应用解耦 削峰填谷 异步通知 分布式事务 大数据处理 ...
随机推荐
- [CF1168C] And Reachability
And Reachability 题面翻译 题目描述 Toad Pimple 有一个整数数组 \(a_1,\dots,a_n\). 当 \(x < y\) 且存在 \(x = p_1 < ...
- [THUPC2022 决赛] rsraogps
[THUPC2022 决赛] rsraogps 题目描述 给序列 \(a_1,\dots,a_n\),\(b_1,\dots,b_n\),\(c_1,\dots,c_n\), 定义区间 \([l,r] ...
- [ARC145D] Non Arithmetic Progression Set
Problem Statement Construct a set $S$ of integers satisfying all of the conditions below. It can be ...
- Bert-vits2-2.3-Final,Bert-vits2最终版一键整合包(复刻生化危机艾达王)
近日,Bert-vits2发布了最新的版本2.3-final,意为最终版,修复了一些已知的bug,添加基于 WavLM 的 Discriminator(来源于 StyleTTS2),令人意外的是,因情 ...
- 华企盾DSC导致导出文件报错常见处理方法
1.导出文件的进程和打开该文件的进程启用OLE控制是否都是未勾选,以及启用虚拟重定向是否设置一致(要么都勾选要么都不勾) 2.用procmon监控个人模式下导出非加密的文件,搜索writefile的进 ...
- 数字孪生结合GIS系统为物流行业带来的改变
随着全球物流业务不断扩张和发展,数字化转型成为当今物流行业的主要趋势.在这个数字化时代,数字孪生技术和地理信息系统(GIS)的结合,为物流行业带来了前所未有的机遇和挑战.这种融合将为物流企业提供更高效 ...
- Pikachu漏洞靶场 Burte Force(暴力破解)
Burte Force(暴力破解) 文章目录 Burte Force(暴力破解) 概述 1.基于表单的暴力破解 2.验证码绕过(on server) 3.验证码绕过(on client) 4.toke ...
- 聊聊ChatGLM-6B的源码分析
基于ChatGLM-6B第一版,要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote/ Prefix ...
- 微信小程序实时噪声分贝
为了做一个能够检测实时噪声分贝的小程序,网上找了很多例子,基本没有完整的代码,手写了一个,话不多说直接上效果图 实现实时录音的功能,并且能够根据声音分贝大小转动仪表盘显示实时的分贝,运用echart实 ...
- 神经网络优化篇:详解指数加权平均数(Exponentially weighted averages)
指数加权平均数 比如这儿有去年伦敦的每日温度,所以1月1号,温度是40华氏度,相当于4摄氏度.世界上大部分地区使用摄氏度,但是美国使用华氏度.在1月2号是9摄氏度等等.在年中的时候,一年365天,年中 ...