一.业务背景 当今时代处在信息大爆发的时代,信息借助互联网的潮流在全球自由的流动,产生了各式各样的平台系统和软件系统,越来越多的业务也会导致系统的复杂性. 当核心业务出现了问题影响用户体验,开发人员没有及时发现,发现问题时已经为时已晚,又或者当服务器的CPU持续增高,磁盘空间被打满等,需要运维人员及时发现并处理,这就需要一套有效的监控系统对其进行监控和预警. 如何对这些业务和服务器进行监控和维护是我们开发人员和运维人员不可忽视的重要一环,这篇文章全篇大约5000多字,我将对vivo服务端监控的原…

1.写在前面 1.1.引言 如果在没有太多经验可借鉴的情况下,要设计一套完整可用的移动端IM架构,难度是相当大的.原因在于,IM系统(尤其是移动端IM系统)是多种技术和领域知识的横向应用综合体:网络编程.通信安全.高并发编程.移动端开发等,如果要包含实时音视频聊天的话,则还要加上难度更大的音视频编解码技术(内行都知道,把音视频编解码及相关技术玩透的,博士学位都可以混出来了),凡此种种,加上移动网络的特殊性.复杂性,设计和开发难度不言而喻. 本文分享了一套完整的海量在线用户的移动端IM架构设计,来…

背景 一面数据创立于 2014 年,是一家领先的数据智能解决方案提供商,通过解读来自电商平台和社交媒体渠道的海量数据,提供实时.全面的数据洞察.长期服务全球快消巨头(宝洁.联合利华.玛氏等),获得行业广泛认可.公司与阿里.京东.字节合作共建多个项目,旗下知乎数据专栏"数据冰山"拥有超30万粉丝.一面所属艾盛集团(Ascential)在伦敦证券交易所上市,在 120 多个国家为客户提供本地化专业服务. 公司在 2016 年线下机房部署了 CDH 集群,到 2021 年已存储和处理 PB…

转自:http://www.changeself.net/archives/rocketmq入门(2)最佳实践.html RocketMQ入门(2)最佳实践 一.服务端安装部署 我是在虚拟机中的CentOS6.5中进行部署. 1.下载程序 2.tar -xvf alibaba-rocketmq-3.0.7.tar.gz 解压到适当的目录如/opt/目录 3.启动RocketMQ:进入rocketmq/bin 目录 执行 1 nohup sh mqnamesrv & 4.启动Broker,设置对应…

Apache Beam实战指南 | 大数据管道(pipeline)设计及实践  mp.weixin.qq.com 策划 & 审校 | Natalie作者 | 张海涛编辑 | LindaAI 前线导读: 本文是 Apache Beam 实战指南系列文章第五篇内容,将对 Beam 框架中的 pipeline 管道进行剖析,并结合应用示例介绍如何设计和应用 Beam 管道.系列文章第一篇回顾 Apache Beam 实战指南 | 基础入门.第二篇回顾 Apache Beam 实战指南 | 玩转 Kaf…

MaxCompute表设计最佳实践 产生大量小文件的操作 MaxCompute表的小文件会影响存储和计算性能,因此我们先介绍下什么样的操作会产生大量小文件,从 而在做表设计的时候考虑避开此类操作. 使用MaxCompute Tunnel SDK上传数据,上传过程中,每commit一次就会产生一个文件.这时每 个文件过小(比如几K),并且频繁上传(比如5秒上传)一次,则一小时就会产生720个小文件,一 天就会产生17280个小文件. 使用MaxCompute Tunnel SDK上传数据,crea…

雷帝网 乐天 10月17日报道 比特大陆今日正式发布终端人工智能芯片BM1880,一同发布的还有基于云端人工智能芯片 BM1682 的算丰智能服务器 SA3.嵌入式AI迷你机 SE3.3D 人脸识别智能终端以及基于 BM1880 的开发板.AI模块.算力棒等产品. 比特大陆产品战略总监汤炜伟表示,比特大陆云端人工智能芯片以9个月的速度快速迭代,基于芯片的相关产品在实际运行中表现良好,合作正在广泛展开,很多安防项目持续落地. "同时,由于目标市场应用需要端云一体化的 AI 解决方案,为了更好地满足…

导语 | Serverless Components 是 Serverless Framework 推出的最新解决⽅案,具有基础设施编排能⼒,开发者通过使⽤ Serverless Components,可以灵活构建.组合和部署 Serverless 应⽤.本文是对腾讯云云函数团队前端负责人蔡卫峰在云+社区沙龙online的分享整理,介绍Serverless Components在腾讯云的落地和实践,希望与大家一同交流. 点击此链接查看完整直播回放 一.Serverless Components…

点击此处观看完整活动视频 各位线上的嘉宾朋友大家好,我是来自华为消费者BG云服务部的刘腾,我今天给大家分享的主题是华为终端云Cassandra运维实践.和前面王峰老师提到的Cassandra在360中使用场景不同,我今天主要带来的是运维相关的内容.在去年7月,我们开发部的吴太银也在Cassandra社区做过一次分享,讲到了Cassandra在华为的一些应用,包括一些在华为遇到一些线上问题的定位和处理经验.今天我就和大家讲一下运维这一块. 这是我今天要分享的内容,重点是第二部分:我们在运维中遇到的…

7 月 31 日,阿里云视频云受邀参加由开放原子开源基金会.Linux 基金会亚太区.开源中国共同举办的全球开源技术峰会 GOTC 2021 ,在大会的音视频性能优化专场上,分享了开源 FFmpeg 在性能加速方面的实战经验以及端云一体媒体系统建设与优化. 众所周知,FFmpeg 作为开源音视频处理的瑞士军刀,以其开源免费.功能强大.方便易用的特点而十分流行.音视频处理的高计算复杂度使得性能加速成为 FFmpeg 开发永恒的主题.阿里云视频云媒体处理系统广泛借鉴了开源 FFmpeg 在性能加速方…