Prime Video如何将时间序列异常转化为可操作警报

Prime Video客户必须能够在所有支持该应用的设备(如手机、智能电视或游戏主机)上可靠地流式传输内容。面对海量设备类型和地区组合,Prime Video团队通过重构问题为大规模在线时间序列异常检测任务,开发了自动化监控解决方案。

技术挑战与解决方案

1. 预期特殊事件

对于已知会影响指标流量的活动(如超级碗赛事或《指环王:力量之戒》首映),团队采用协变量增强的预测模型。通过二进制编码调度事件(如图表所示),结合历史数据分析不同赛事对流量波动的具体影响。

2. 非预期低影响事件

针对无法预见的区域性活动(如天气变化),提出集成检测方法:

  • 组合均值、方差、趋势等不同特征的检测器
  • 融合基于预测和基于导数的异常评分器(如图例所示)
  • 通过衍生指标和相关性检测器过滤无害异常

3. 非预期高影响事件

对于突发重大事件(如自然灾害或突发新闻),采用终端用户模拟策略:

  • 验证受影响区域内其他技术栈指标的同步偏差
  • 建立服务关联性分析机制

实施效果

该方案显著降低了误报率,使工程师能专注于真实故障。文章同时指出需持续评估误报抑制机制可能导致的漏检风险,并建议将领域特定知识与通用异常检测方法相结合。

更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)

公众号二维码

Prime Video如何将时间序列异常转化为可操作警报的更多相关文章

  1. 时间序列异常检测算法S-H-ESD

    1. 基于统计的异常检测 Grubbs' Test Grubbs' Test为一种假设检验的方法,常被用来检验服从正太分布的单变量数据集(univariate data set)\(Y\) 中的单个异 ...

  2. 基于RRCF(robust random cut forest)的时间序列异常检测流程

    摘要:RRCF是亚马逊提出的一个流式异常检测算法,是对孤立森林的改进,可对时序或非时序数据进行异常检测.本文是我从事AIOps研发工作时所做的基于RRCF的时序异常检测方案. 1.      数据格式 ...

  3. 关于java中为什么尽量把受检异常转化为非受检异常

    首先理解一下受检异常与非受检异常: 异常表示程序运行过程中可能出现的非正常状态,运行时异常表示虚拟机操作中可能遇到的异常,是一种常见的运行错误,只要程序设计的没有问题通常就不会发生.受检异常与程序的上 ...

  4. 如何用python将一个时间序列转化成有监督学习

    机器学习可以被用于时间序列预测. 在机器学习能使用之前,时间序列预测需要被重新转化成有监督学习.将一个序列组合成成对的输入输出序列. 在这篇教程中,你会发现如何通过使用机器学习算法将单变量和多变量的时 ...

  5. 异常学习笔记+打包+doc该软件包编译

    jvm调用默认的异常处理机制printStackTrace办法      欲了解更多异常处理.问题      捕获异常代码块出现继承关系 应该把被继承的异常放在子类异常块的后面 watermark/2 ...

  6. 【译】使用微软企业库5.0进行WCF服务边界上的异常保护

    在Windows Communication Foundation (WCF)中,为了阻止服务的实现细节从服务的安全边界泄露,未知的异常不应该被发送至客服端.在WCF配置中将<serviceDe ...

  7. Kesci: Keras 实现 LSTM——时间序列预测

    博主之前参与的一个科研项目是用 LSTM 结合 Attention 机制依据作物生长期内气象环境因素预测作物产量.本篇博客将介绍如何用 keras 深度学习的框架搭建 LSTM 模型对时间序列做预测. ...

  8. 应用层级时空记忆模型(HTM)实现对实时异常流时序数据检测

    应用层级时空记忆模型(HTM)实现对实时异常流时序数据检测 Real-Time Anomaly Detection for Streaming Analytics Subutai Ahmad SAHM ...

  9. .NET:异常以及异常处理框架探析(转载)

    概述 一般情况下,企业级应用都对应着复杂的业务逻辑,为了保证系统的健壮,必然需要面对各种系统业务异常和运行时异常. 不好的异常处理方式容易造成应用程序逻辑混乱,脆弱而难于管理.应用程序中充斥着零散的异 ...

  10. Java之异常机制(1) - 高效处理异常

    Java开发人员做出的有关架构的最重要的决定之一便是如何使用Java异常模型.Java异常处理成为社区中讨论最多的话题之一.一些人认为Java语 言中的已检查异常(Checked Exceptions ...

随机推荐

  1. 0.4元/TB/月!天翼云HBlock打响软件定义存储价格战

    惊爆价打响存储战争 当企业数据量以平均每年增加50%的速度狂飙,存储成本已成重负:传统方案动辄数百万的成本投入.动辄数周的部署周期.动辄30%的闲置资源浪费-- 今天,天翼云HBlock以" ...

  2. CUDA原子操作

    这节主要涉及到一个多线程情况下存在的数据竞争问题 -- 多个线程同时访问共享数据时,由于没有正确的同步机制,导致数据出现不一致的情况. C/C++ 多线程中,可以通过互斥锁(mutex).原子操作(a ...

  3. Redisson读写锁和分布式锁的项目实践

    问题1:在修改分组时,有短链接正在访问会出现什么问题?怎么解决 假设:现有线程A正在修改短链a的分组gid1为gid2(还未修改成功) 同时有一个线程B获取了短链a分组gid1,要进行统计pv,uv, ...

  4. GStreamer开发笔记(四):ubuntu搭建GStreamer基础开发环境以及基础Demo

    前言   本篇开始gstreamer的编程学习,先搭建基础的环境,跑通一个基础的Demo对GStreamer编程有个初步的了解.   Demo         GStreamer   GStreame ...

  5. 用脚手架创建odoo15项目

    Odoo 提供了一种机制来帮助建立一个新模块,odoo-bin有一个子命令脚手架来创建一个空模块 命令: $ odoo-bin scaffold <module name> <whe ...

  6. 用curl测网速统计访问耗时

      在<从基础到高级,带你结合案例深入学习curl命令>中,介绍了curl的使用方法,这里介绍一个用于统计响应耗时的最佳实践,助力老铁们合理设置网络超时时间.   下面介绍一个用于统计访问 ...

  7. javax.validation @Valid注解实现参数校验

      在 RESTful 的接口服务中,存在各种各样的请求参数.在跳入业务处理环节之前,通常会有一个基础的数据验证的机制,待验证通过,结果无误后,请求参数才会传递到正式的业务处理中. maven 依赖引 ...

  8. Django Web应用开发实战第七章

    一.ORM框架 Django对各种数据库提供了很好的支持,包括PostgreSQL.MySQL.SQLite和Oracle,且为这些数据库提供了统一API方法,这些API统称为ORM框架. 通过Dja ...

  9. SpringBoot发布webservice服务并调用(hutool yyds)

    作者:故事我忘了¢个人微信公众号:程序猿的月光宝盒 目录 前言 开干 1.涉及技术点 2.整体项目结构 3.Provider 发布Ws服务端 首先,肯定要修改pom文件 依赖加上 3.0 因为用对象的 ...

  10. vue在页面加载时触发的函数

    //页面加载时触发的函数 methods: { getEmp: function() { // console.log(this.joke); var that = this; axios.post( ...