Prime Video如何将时间序列异常转化为可操作警报
Prime Video如何将时间序列异常转化为可操作警报
Prime Video客户必须能够在所有支持该应用的设备(如手机、智能电视或游戏主机)上可靠地流式传输内容。面对海量设备类型和地区组合,Prime Video团队通过重构问题为大规模在线时间序列异常检测任务,开发了自动化监控解决方案。
技术挑战与解决方案
1. 预期特殊事件
对于已知会影响指标流量的活动(如超级碗赛事或《指环王:力量之戒》首映),团队采用协变量增强的预测模型。通过二进制编码调度事件(如图表所示),结合历史数据分析不同赛事对流量波动的具体影响。
2. 非预期低影响事件
针对无法预见的区域性活动(如天气变化),提出集成检测方法:
- 组合均值、方差、趋势等不同特征的检测器
- 融合基于预测和基于导数的异常评分器(如图例所示)
- 通过衍生指标和相关性检测器过滤无害异常
3. 非预期高影响事件
对于突发重大事件(如自然灾害或突发新闻),采用终端用户模拟策略:
- 验证受影响区域内其他技术栈指标的同步偏差
- 建立服务关联性分析机制
实施效果
该方案显著降低了误报率,使工程师能专注于真实故障。文章同时指出需持续评估误报抑制机制可能导致的漏检风险,并建议将领域特定知识与通用异常检测方法相结合。
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)
公众号二维码

Prime Video如何将时间序列异常转化为可操作警报的更多相关文章
- 时间序列异常检测算法S-H-ESD
1. 基于统计的异常检测 Grubbs' Test Grubbs' Test为一种假设检验的方法,常被用来检验服从正太分布的单变量数据集(univariate data set)\(Y\) 中的单个异 ...
- 基于RRCF(robust random cut forest)的时间序列异常检测流程
摘要:RRCF是亚马逊提出的一个流式异常检测算法,是对孤立森林的改进,可对时序或非时序数据进行异常检测.本文是我从事AIOps研发工作时所做的基于RRCF的时序异常检测方案. 1. 数据格式 ...
- 关于java中为什么尽量把受检异常转化为非受检异常
首先理解一下受检异常与非受检异常: 异常表示程序运行过程中可能出现的非正常状态,运行时异常表示虚拟机操作中可能遇到的异常,是一种常见的运行错误,只要程序设计的没有问题通常就不会发生.受检异常与程序的上 ...
- 如何用python将一个时间序列转化成有监督学习
机器学习可以被用于时间序列预测. 在机器学习能使用之前,时间序列预测需要被重新转化成有监督学习.将一个序列组合成成对的输入输出序列. 在这篇教程中,你会发现如何通过使用机器学习算法将单变量和多变量的时 ...
- 异常学习笔记+打包+doc该软件包编译
jvm调用默认的异常处理机制printStackTrace办法 欲了解更多异常处理.问题 捕获异常代码块出现继承关系 应该把被继承的异常放在子类异常块的后面 watermark/2 ...
- 【译】使用微软企业库5.0进行WCF服务边界上的异常保护
在Windows Communication Foundation (WCF)中,为了阻止服务的实现细节从服务的安全边界泄露,未知的异常不应该被发送至客服端.在WCF配置中将<serviceDe ...
- Kesci: Keras 实现 LSTM——时间序列预测
博主之前参与的一个科研项目是用 LSTM 结合 Attention 机制依据作物生长期内气象环境因素预测作物产量.本篇博客将介绍如何用 keras 深度学习的框架搭建 LSTM 模型对时间序列做预测. ...
- 应用层级时空记忆模型(HTM)实现对实时异常流时序数据检测
应用层级时空记忆模型(HTM)实现对实时异常流时序数据检测 Real-Time Anomaly Detection for Streaming Analytics Subutai Ahmad SAHM ...
- .NET:异常以及异常处理框架探析(转载)
概述 一般情况下,企业级应用都对应着复杂的业务逻辑,为了保证系统的健壮,必然需要面对各种系统业务异常和运行时异常. 不好的异常处理方式容易造成应用程序逻辑混乱,脆弱而难于管理.应用程序中充斥着零散的异 ...
- Java之异常机制(1) - 高效处理异常
Java开发人员做出的有关架构的最重要的决定之一便是如何使用Java异常模型.Java异常处理成为社区中讨论最多的话题之一.一些人认为Java语 言中的已检查异常(Checked Exceptions ...
随机推荐
- 0.4元/TB/月!天翼云HBlock打响软件定义存储价格战
惊爆价打响存储战争 当企业数据量以平均每年增加50%的速度狂飙,存储成本已成重负:传统方案动辄数百万的成本投入.动辄数周的部署周期.动辄30%的闲置资源浪费-- 今天,天翼云HBlock以" ...
- CUDA原子操作
这节主要涉及到一个多线程情况下存在的数据竞争问题 -- 多个线程同时访问共享数据时,由于没有正确的同步机制,导致数据出现不一致的情况. C/C++ 多线程中,可以通过互斥锁(mutex).原子操作(a ...
- Redisson读写锁和分布式锁的项目实践
问题1:在修改分组时,有短链接正在访问会出现什么问题?怎么解决 假设:现有线程A正在修改短链a的分组gid1为gid2(还未修改成功) 同时有一个线程B获取了短链a分组gid1,要进行统计pv,uv, ...
- GStreamer开发笔记(四):ubuntu搭建GStreamer基础开发环境以及基础Demo
前言 本篇开始gstreamer的编程学习,先搭建基础的环境,跑通一个基础的Demo对GStreamer编程有个初步的了解. Demo GStreamer GStreame ...
- 用脚手架创建odoo15项目
Odoo 提供了一种机制来帮助建立一个新模块,odoo-bin有一个子命令脚手架来创建一个空模块 命令: $ odoo-bin scaffold <module name> <whe ...
- 用curl测网速统计访问耗时
在<从基础到高级,带你结合案例深入学习curl命令>中,介绍了curl的使用方法,这里介绍一个用于统计响应耗时的最佳实践,助力老铁们合理设置网络超时时间. 下面介绍一个用于统计访问 ...
- javax.validation @Valid注解实现参数校验
在 RESTful 的接口服务中,存在各种各样的请求参数.在跳入业务处理环节之前,通常会有一个基础的数据验证的机制,待验证通过,结果无误后,请求参数才会传递到正式的业务处理中. maven 依赖引 ...
- Django Web应用开发实战第七章
一.ORM框架 Django对各种数据库提供了很好的支持,包括PostgreSQL.MySQL.SQLite和Oracle,且为这些数据库提供了统一API方法,这些API统称为ORM框架. 通过Dja ...
- SpringBoot发布webservice服务并调用(hutool yyds)
作者:故事我忘了¢个人微信公众号:程序猿的月光宝盒 目录 前言 开干 1.涉及技术点 2.整体项目结构 3.Provider 发布Ws服务端 首先,肯定要修改pom文件 依赖加上 3.0 因为用对象的 ...
- vue在页面加载时触发的函数
//页面加载时触发的函数 methods: { getEmp: function() { // console.log(this.joke); var that = this; axios.post( ...