作者 吕亚霖,2019年加入作业帮,作业帮架构研发负责人,在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO微服务框架.DevOps的落地实践. 莫仁鹏,2020年加入作业帮,作业帮高级架构师,在作业帮期间,推动了作业帮云原生架构演进,负责作业帮服务治理体系的设计和落地.服务感知体系建设以及自研mesh.MQproxy研发工作. 摘要 日志是服务观察的主要方式,我们依赖日志去感知服务的运行状态.历史状况:当发生错误时,我们又依赖日志去了解现场,定位问题.日志对研发工程师来说异常…

作者 吕亚霖,2019年加入作业帮,作业帮基础架构-架构研发团队负责人,在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO微服务框架.DevOps的落地实践. 张浩然,2019年加入作业帮,作业帮基础架构-高级架构师,在作业帮期间,推动了作业帮云原生架构演进.负责多云k8s集群建设.k8s组件研发.linux内核优化调优.底层服务容器化相关工作. 背景 大规模检索系统一直都是各个公司平台业务的底层基石,往往是以千台裸金属服务器级别的超大规模集群的方式运行,数据量巨大,对于性能.…

作者 吕亚霖,2019年加入作业帮,作业帮架构研发负责人,在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO微服务框架.DevOps的落地实践. 简介 调度系统的本质是为计算服务/任务匹配合适的资源,使其能够稳定高效地运行,以及在此的基础上进一步提高资源使用密度,而影响应用运行的因素非常多,比如 CPU.内存.IO.差异化的资源设备等等一系列因素都会影响应用运行的表现.同时,单独和整体的资源请求.硬件/软件/策略限制. 亲和性要求.数据区域.负载间的干扰等因素以及周期性流量场景…

干货分享 | 阿里PB级Kubernetes日志平台建设实践https://www.infoq.cn/article/HiIxh-8o0Lm4b3DWKvph 日志最主要的采集工具是 Agent,在 Kubernetes 场景下,通常会分为两种采集方式: DaemonSet 方式:在 K8S 的每个 node 上部署日志 agent,由 agent 采集所有容器的日志到服务端. Sidecar 方式:一个 POD 中运行一个 sidecar 的日志 agent 容器,用于采集该 POD 主容器产…

产品经理-需求分析-用户故事-敏捷开发 详解 用户故事是从用户的角度来描述用户渴望得到的功能.一个好的用户故事包括三个要素:1. 角色:谁要使用这个功能.2. 活动:需要完成什么样的功能.3. 商业价值:为什么需要这个功能,这个功能带来什么样的价值.作为一个<角色>, 我想要<活动>, 以便于<商业价值>As a <Role>, I want to <Activity>, so that <Business Value>. 用户故事的…

导语 | OLAP(On-Line Analytical Processing),是数据仓库系统的主要应用形式,帮助分析人员多角度分析数据,挖掘数据价值.本文基于QQ音乐海量大数据实时分析场景,通过QQ音乐与腾讯云EMR产品深度合作的案例解读,还原一个不一样的大数据云端解决方案. 一.背景介绍 QQ音乐是腾讯音乐旗下一款领先的音乐流媒体产品,平台打造了"听.看.玩"的立体泛音乐娱乐生态圈,为累计注册数在8亿以上的用户提供多元化音乐生活体验,畅享平台上超过3000万首歌曲的海量曲库.优质…

摘要:高斯Redis,计数的最佳选择! 一.背景 当我们打开手机刷微博时,就要开始和各种各样的计数器打交道了.我们注册一个帐号后,微博就会给我们记录一组数据:关注数.粉丝数.动态数-:我们刷帖时,关注每天的热搜情况,微博需要为每个热搜记录一组搜索量.在这一串数据后面,是一个个计数器在工作. 计数器可以分为常规计数器和基数计数器,对于常规计数器,只需要对计数器进行简单的增减即可:对于基数计数器,需要对元素进行去重,比如统计搜索量时,需要保证每个用户的多次搜索只统计一次.对于这两种需求,Redis…

作者 吕亚霖,作业帮基础架构 - 架构研发团队负责人.负责技术中台和基础架构工作.在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO 微服务框架.DevOps 的落地实践. 别路,作业帮基础架构-高级研发工程师,在作业帮期间,负责多云 K8s 集群建设.K8s 组件研发.Linux 内核优化调优相关工作. 背景 作业帮在云原生容器化改造的过程中,随着集群规模越来越大.业务混合部署的场景越来越复杂,面临的集群问题也越来越多,走到了 Kubernetes 及容器化的深水区, 尤其是…

在11月4日举办的2021腾讯数字生态大会云原生专场上,腾讯云联合中国信通院.作业帮等率先在国内重磅发布了<降本之源-云原生成本管理白皮书>(简称白皮书),基于腾讯云在业内最大规模的 Kubernetes 实践经验,系统性呈现云原生成本优化方法论和最佳实践路径. 腾讯云容器产品总经理邹辉表示:"Kubernetes 是云原生技术栈的核心,腾讯云原生经过多年的技术积累以及众多腾讯内外部复杂业务考验已经步入非常成熟的阶段.TKE 目前拥有国内最大规模的 Kubernetes 集群以及业界…

［小编］上周六了解了用户故事地图后,小编又查阅了一些资料,找到了以下这篇关于如何组织用户故事地图规划的文章,分享给大家.也希望大家如果有好的实践,也可以留言一起交流. 原文地址:http://winnipegagilist.blogspot.jp/2012/03/how-to-create-user-story-map.html 感谢Jeff Patton和其他人的大力推广,用户故事地图已经成为敏捷需求规划中的一个流行方法.用户故事地图可以将你的backlog变成一张二维地图,而不是传统的简单列…