用积木讲运维,这样的IT人太会了
简介: 日志服务SLS提供数据采集、加工、分析、告警可视化与投递功能,为AIOps、大数据分析、运营服务、大数据安全等场景提供支撑,并能以搭积木的方式适配各类运维场景,辅助企业的IT决策。近日,日志服务SLS新增了两项重磅功能,有助于进一步提升研发、运维等场景数字化能力。
积木的拼搭,是件细致工作。用不同的积木,进行组合变换,小孩子可能会用积木搭高楼、搭汽车、搭公路,而IT人则选择通过搭建小积木,讲解可观测的大乾坤。

大家所熟知的日志服务SLS不只是“日志存储”,更是一个一站式智能运维方案、可观测平台。它提供数据采集、加工、分析、告警可视化与投递功能,为AIOps、大数据分析、运营服务、大数据安全等场景提供支撑,并能以搭积木的方式适配各类运维场景,辅助企业的IT决策。

近日,日志服务SLS新增了两项重磅功能,有助于进一步提升研发、运维等场景数字化能力。
一、日志服务架构的五大层级
相关报告指出,可观测性应用使企业机构能够利用其数据特征来获得竞争优势。如果能够在战略中予以规划并成功执行,可观测性应用将成为数据驱动型决策的最强大来源。
从架构上来看,日志服务SLS作为一站式的云原生可观测分析平台,按功能可划分为5大层级。最底层是数据采集与管道,再上一层是统一的可观测存储平台;然后是灵活的高性能计算引擎、智能化的Ops平台工具;最上层为各种开箱即用的功能。

1、数据采集与管道
业内公认,Log、Metric、Trace是全观测的三大支柱,通过搭建统一的观测系统,帮助运维人员在「事前」了解系统运行状态,「事中」快速定位故障,「事后」根因分析,做到进退有方,心中不慌。
SLS作为阿里巴巴、蚂蚁等日志中台产品,可以承载流量管道作用,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。
2、可观测存储平台
针对不同类型的数据,SLS提供了统一的存储能力,日志中枢(LogHub)支持与各种实时计算及服务对接,不但可以提供完整的进度监控,报警等功能,还能根据SDK/API实现自定义消费。此外,SLS具备强大的数据加工能力,广泛适用于数据的规整、富化、分发、汇总、重建索引等场景。
为了降低用户长周期存储的成本,SLS提供了冷存储功能。冷存储数据的存储费用很低,冷热数据转换也不会产生费用。
3、高性能计算引擎
SLS有不少互联网及企业客户,他们的业务系统会实时生成大量的埋点日志数据,这些数据往往需要长期保存,并且有离线计算或者实时计算的需求。
为了更好地服务这些客户, SLS提供了基于索引的高性能查询/分析能力,10亿级数据能够实现秒级返回。在语法上,SLS完全兼容SQL92标准,同时无缝对接主流(Flink、Spark、Storm等)流计算产品。
4、智能化的 Ops 平台工具
SLS支持完整AIOps能力,能将可观测性数据全部接入一个平台中,再结合高性能数据查询引擎、关联分析能力,构建出一套云原生可观测平台。
用户可以基于此平台, 便捷高效地构建ITOps、SecOps、FinOps上层应用。再结合智能告警与响应中枢、基于AI的数据分析与异常巡检模块,企业IT系统神经中枢就大功告成了。
5、开箱即用的应用
SLS具备全托管、免运维,开箱即用的特性,提供DSL编排能力,内置200+函数,内置算子,能够快速实现二次开发。
Cloud Lens 复用了SLS 的存储分析平台,可以跨账号、跨区域统一采集访问日志、用量数据、监控指标等可观测数据,继而创建一个统一的场景化洞察大盘,帮助用户低门槛实现对云产品的可观测。
二、日志服务新增查询型规格以及Scan扫描模式
SLS现有的标准型规格(Standard Logstore),包含了SLS的完整功能集合,用户可以在标准型规格上实现对于数据的高性能查询与分析,进而用来适应各类业务场景。但实际上部分用户的业务场景并不倚重于分析能力,更多的还是依赖查询解决问题。

哲学家老子曾说大道至简,同样地,产品也需要因事制宜做“减法”。因此,SLS新推出了查询型规格(Query Logstore),据统计,查询型规格索引流量费用相比标准型规格减少约72%,综合成本预计降低30% ,支持高性能查询,不支持分析统计。适合于debugging、问题诊断和审计溯源等重查询轻(或无)分析的场景。
在同一个project下,可以同时保有标准型及查询型规格Logstore,用户可根据不同业务需求灵活组合。SLS Query规格还支持存储冷热分层,在兼容查询功能的同时进一步降低成本。
在查询型规格之外,SLS今年在计算引擎上也实现了重大突破。索引查询/分析模式是一种schema-on-write的模式,更注重稳定和效率,相对应的需要提前建立索引,没有索引的字段就无法用于做查询分析,适用于明确有业务需求的日志字段。但是对于需求相对模糊的部分,往往会让用户陷入是应该注重业务需求提前建索引,还是应该平衡成本的纠结中。

而SLS推出的扫描查询/分析模式(Schema on read),不需要用户提前建立索引,在无预建索引的情况下可以实现轻量级(性能/规模受限)的查询分析功能,相对应的成本也会大幅度降低。在同一份日志数据中,通过两种计算模式的灵活结合,SLS成功化身“端水大师”,实现对于业务需求和成本的兼具考虑。
结语:起早与贪黑齐飞,调休共假期待定,那是人肉运维。进入智能运维时代,运维人需要的是文能运维做观测,武能检索做分析。有了可以灵活组装底层能力的日志服务SLS,运维人可以进一步从繁重的事务中解脱出来。
原文链接:https://click.aliyun.com/m/1000362248/
本文为阿里云原创内容,未经允许不得转载。
用积木讲运维,这样的IT人太会了的更多相关文章
- 转:linux运维工程师
运维中关键技术点解剖:1 大量高并发网站的设计方案:2 高可靠.高可伸缩性网络架构设计:3 网站安全问题,如何避免被黑?4 南北互联问题,动态CDN解决方案:5 海量数据存储架构 一.什么是大型网站运 ...
- 面试 Linux 运维工作至少需要知道哪些知识?
前言 我们已经发过不少 Linux 面试题,但是单独的面试题总感觉会过于零碎,没有体系化内容给人的帮助大. 知乎上有这样一个问题:一个新手面试 Linux 运维工作至少需要知道哪些知识?其中有一个答案 ...
- linux运维文章
运维中关键技术点解剖:1 大量高并发网站的设计方案 :2 高可靠.高可伸缩性网络架构设计:3 网站安全问题,如何避免被黑?4 南北互联问题,动态CDN解决方案:5 海量数据存储架构 一.什么是大型网站 ...
- linux运维面试前,先来检查这些基础知识忘了没?
知乎上有这样一个问题:一个新手面试 Linux 运维工作至少需要知道哪些知识?其中有一个答案对这一话题的解读非常深入,今天特别分享给大家. 一.什么是大型网站运维? 首先明确一下,全文所讲的”运维“是 ...
- 基于 ANSIBLE 自动化运维实践
摘要:运维这个话题很痛苦,你做任何的产品都离不开运维.不管你用什么语言.什么平台.什么技术,真正能够决定你产品成熟度的很有可能就是你运维的能力.取自 云巴 CEO 张虎在 ECUG 大会上的分享. 云 ...
- 运维工程师打怪升级进阶之路 V2.0
在此之前,发布过两个版本: 运维工程师打怪升级之路 V1.0 版本发布 运维工程师打怪升级必经之路 V1.0.1 很多读者伙伴们反应总结的很系统.很全面,无论是0基础初学者,还是有基础的入门者,或者是 ...
- 云计算和AI时代,运维应该如何做好转型?
云计算和AI时代,运维应该如何做好转型? 今天我们来聊一聊,在云计算和AI时代,运维应该如何做好转型?今天的内容可以说是我们前面运维组织架构和协作模式转型的姊妹篇.针对运维转型这个话题,谈谈我的思考和 ...
- 有效运维的 on-call 机制
[编者按]本文作者为云告警平台OneAlert负责人,著<云计算与OpenStack>,在IT运营管理.云计算方面从业10多年. 正文 互联网技术的发展,离不开运维支撑工作,没有零bug的 ...
- 最适合初学者的Linux运维学习教程2018版
Linux运维工程师是一个新颖岗位,现在非常吃香,目前从行业的角度分析,随着国内软件行业不断发展壮大,越来越多复杂系统应运而生,为了保证系统稳定运行,必须要有足够多的Linux运维工程师.维护是软件生 ...
- 15-MySQL DBA笔记-运维管理
第15章 运维管理 随着各种技术的快速发展,现今的DBA可以比以前的DBA维护多得多的数据库实例.DBA已经越来越像一个资源的管理者,而不是简单的操作步骤执行人.本章将为读者介绍规模化运维之道.首先, ...
随机推荐
- SpringMVC深入总结--Spring中的拦截器
Spring为我们提供了: org.springframework.web.servlet.HandlerInterceptor接口, org.springframework.web.servlet. ...
- 自动化瓦力多渠道打包python脚本
自动化瓦力多渠道打包python脚本 目录介绍 1.本库优势亮点 2.使用介绍 3.注意要点 4.效果展示 5.其他介绍 0.首先看看我录制的案例演示 如下所示,这段python代码很简单,工具十分强 ...
- power quyer 批量合并同一文件夹下数据格式相同的Excel文件
一.需求描述:现在有一批数据格式相同的Excel文件需要把里面的内容合并到同一个Excel的一个sheet里面 二.新建一个叫数据汇总的Excel文件-数据-新建查询-从文件-选择数据存放的文件夹-然 ...
- dbvisivuser连oracle数据库报错没有权限
原因:数据库从11g升级为19c了 解决:ojdbc.jar也要换成最新的,导致报错的旧jar包2M大小,换成新jar包3M大小.替换jar包要将 dbvisivuser的tool driverMan ...
- 使用maven命令安装Oracle的jar包到本地仓库
mvn install:install-file -DgroupId=com.oracle -DartifactId=ojdbc6 -Dversion=11.2.0.4 -Dpackaging=jar ...
- AABO:自适应Anchor设置优化,性能榨取的最后一步 | ECCV 2020 Spotlight
论文提出超参数优化方法AABO,该方法核心基于贝叶斯优化和Sub-Sample方法,能够自适应的搜索最优的anchor设置.从实验结果来看,AABO能够仅通过anchor设置优化,为SOTA目标检测方 ...
- 索引与查询使用的 collate 不一致导致无法使用索引
索引与表的collate 不一致的情况下,会导致表上的索引不可用,这时要想使用索引,必须在SQL 语句指定建索引所用的collate. 数据库默认collate : test=# \l List of ...
- 2024年:如何根据项目具体情况选择合适的CSS技术栈
2024年:如何根据项目具体情况选择合适的CSS技术栈 (请注意,这是一篇主观且充满个人技术偏好的文章) 方案一: antd/element ui/类似竞品 适合情形: 项目没有设计师 or 大部分人 ...
- java中DelayQueue的使用
目录 简介 DelayQueue DelayQueue的应用 总结 java中DelayQueue的使用 简介 今天给大家介绍一下DelayQueue,DelayQueue是BlockingQueue ...
- DOM 节点遍历:掌握遍历 XML文档结构和内容的技巧
遍历是指通过或遍历节点树 遍历节点树 通常,您想要循环一个 XML 文档,例如:当您想要提取每个元素的值时. 这被称为"遍历节点树". 下面的示例循环遍历所有 <book&g ...