5 月 19.20 日,行业精英齐聚的 WebRTCon 2018 在上海举办.又拍云 PrismCDN 项目负责人凌建发在大会做了<又拍云低延时的 WebP2P 直播实践>的精彩分享. 分享介绍了 WebP2P 行业将从 FlashP2P 逐步进入 H5P2P,并分享了又拍云 PrismCDN 网络如何突破传统 P2P 网络高延迟.低分享率的难题. 因分享内容较多,特将演讲整理为两部分: 取代 FlashP2P,H5P2P 将成为 WebP2P 主流:介绍几类 P2P 的架构.原理.优劣势,…

QQ视频直播架构及原理 - tianyu的专栏 - CSDN博客 https://blog.csdn.net/wishfly/article/details/53035342 作者:王宇(腾讯音视频高级架构师) 自我介绍下,毕业以来加入腾讯,一直从事客户端研发,身处互联网公司,踏着互联网的浪潮,一直在浪尖行走,从最早的PC QQ,到移动时代的手Q,再到腾讯物联的嵌入式,以及最近这两年直播领域风起云涌,接下来主要给大家介绍下QQ视频直播的架构及原理. 今天主要给大家介绍三个方面的内容,视频直播的框…

10Gb以太网适配器制.网卡造商Solarflare目前正在将自己的网卡系列产品转变为服务器产品.其产品在金融领域有着广泛的应用. Solarflare首先将现场可编程门阵列(FPGA)放入网络适配器中并使用特殊的软件来从服务器中加载算法和数据,从让网卡能够部分实现网络服务器的功能. FPGA在电子产品设计领域应用非常广泛,其允许编码器以不同的方式来实现各种功能,甚至连CPU也是某种程度上讲的高端FPGA.在学术领域.金融业以及超算行业,FPGA已经取得了一定的成功. 而Solarflare的目…

转载地址:http://www.blogjava.net/DLevin/archive/2015/08/22/426877.html HBase架构组成 HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由一下类型节点组成:HMaster节点.HRegionServer节点.ZooKeeper集群,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode.DataNode等,总体结构如下:其中HMaster节点用于: 管理HRegionServer…

Netty原理架构解析 转载自:http://www.sohu.com/a/272879207_463994本文转载关于Netty的原理架构解析,方便之后巩固复习 Netty是一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端.JDK原生也有一套网络应用程序API,NIO,但是存在一些问题使得用起来不是很方便,主要如下: NIO的类库和API繁杂,使用麻烦.使用时需要熟练掌握Selector.ServerSocketChannel.SocketChannel.Byt…

一.背景 现在到处是摄像头的时代,随着带宽的不断提速和智能手机的普及催生出火热的网络直播行业,新冠病毒的大流行又使网络视频会议系统成为商务会议的必然选择,因此RTSP实时视频流播放及处理不再局限于安防行业.在如道路.工厂.楼宇.学校.港口.农场.景区等场景实施的信息化系统中,已基本全采用B/S架构,迫切需要在浏览器中嵌入多路摄像头RTSP流的超低延迟(小于500毫秒)播放功能,而在IE及Chrome 49以下版本等浏览器中,采用ActiveX控件或NPAPI插件即可实现.然而美好总是短暂的,从2…

这可能是目前最透彻的Netty原理架构解析 本文基于 Netty 4.1 展开介绍相关理论模型,使用场景,基本组件.整体架构,知其然且知其所以然,希望给大家在实际开发实践.学习开源项目方面提供参考. Netty 是一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端. JDK 原生 NIO 程序的问题 JDK 原生也有一套网络应用程序 API,但是存在一系列问题,主要如下: NIO 的类库和 API 繁杂,使用麻烦.你需要熟练掌握 Selector.ServerSoc…

高吞吐低延迟Java应用的垃圾回收优化 高性能应用构成了现代网络的支柱.LinkedIn有许多内部高吞吐量服务来满足每秒数千次的用户请求.要优化用户体验,低延迟地响应这些请求非常重要. 比如说,用户经常用到的一个功能是了解动态信息——不断更新的专业活动和内容的列表.动态信息在LinkedIn随处可见,包括公司页面,学校页面以及最重要的主页.基础动态信息数据平台为我们的经济图谱(会员,公司,群组等等)中各种实体的更新建立索引,它必须高吞吐低延迟地实现相关的更新. 图1 LinkedIn 动态信息…

from:  http://blog.csdn.net/jacktan/article/details/41177779 在很久很久以前,如果有人让我用Java语言开发一个低延迟系统,我肯定会用迷茫的眼神望着他,然后说“are you kidding me?”.然而随着Java语言的日臻完善以及JVM性能的极速提升,使得用Java语言开发低延迟(不要和实时系统搞混)系统越来越成为可能,其中就包括最典型的交易(支付)系统.当然作为系统架构师,他们会尝试使用一些成熟分布式架构方案(通常是整合一些商业…

目录 文章目录 目录 前言 软件定义网络(SDN) 虚拟交换机(vSwitch) 为什么说云计算时代的 SDN 非常重要 OpenFlow 简介 Open vSwitch Open vSwitch 的架构 ovsdb(ovsdb-server) ovs-vswitchd(vswitchd) Datapatch(openvswitch.ko) OvS 的工具集 ovs-vsctl 常用指令 Open vSwitch 的工作原理 OpenvSwitch 的典型工作流程 Open vSwitch 的安…

本篇原文作者是 LinkedIn 的 Swapnil Ghike,这篇文章讲述了 LinkedIn 的 Feed 产品的 GC 优化过程,虽然文章写作于 April 8, 2014,但其中的很多内容和知识点非常有学习和参考意义. 背景 高性能应用构成了现代网络的支柱.LinkedIn 内部有许多高吞吐量服务来满足每秒成千上万的用户请求.为了获得最佳的用户体验,以低延迟响应这些请求是非常重要的. 例如,我们的用户经常使用的产品是 Feed -- 它是一个不断更新的专业活动和内容的列表.Feed 在…

本文介绍 OpenMLDB 在线模块的架构,欢迎通过以下渠道了解关于 OpenMLDB 的更多信息 GitHub:GitHub - 4paradigm/OpenMLDB: OpenMLDB is an open-source machine learning database that provides a full-stack FeatureOps solution for production.​github.com/4paradigm/OpenMLDB OpenMLDB 使用文档:Open…

分享嘉宾:翟佳 StreamNative 联合创始人 编辑整理:张晓伟 美团点评 出品平台:DataFunTalk 导读:多数读者们了解BookKeeper是通过Pulsar,实际上BookKeeper在数据库和存储场景都有着非常广泛的应用.BookKeeper是Pulsar的底层存储,Pulsar有着广泛数据入口,Pulsar跟Kafka及各类MQ(RabbitMQ.ACTIVEMQ)的较大区别是Pulsar是统一的云原生消息流平台,不但是分布式系统,而且做了存算分离,可以让用户在云的环境下,…

T 摘要 · 云原生与数据湖是当今大数据领域最热的 2 个话题,本文着重从为什么传统数仓 无法满足业务需求? 为何需要建设数据湖?数据湖整体技术架构.Apache Hudi 存储模式与视图.如何解决冷数据频繁更新.如何在数据湖上进行准实时 分析.数据湖上调度为何选型 Apache DolphinScheduler.二次开发新特性以及规划等多个角度进行了阐述. 讲师介绍 杨华,T3 出行大数据平台负责人.Apache Hudi Committer & PMC.Apache Kylin Commit…

Hadoop源码解析 1 --- Hadoop工程包架构解析 1 Hadoop中各工程包依赖简述    Google的核心竞争技术是它的计算平台.Google的大牛们用了下面5篇文章,介绍了它们的计算设施.     GoogleCluster: http://research.google.com/archive/googlecluster.html     Chubby:http://labs.google.com/papers/chubby.html     GFS:http://labs.…

uC/OS-II内核架构解析(1)---嵌入式RTOS 1. 嵌入式系统基本模型 2. RTOS设计原则 采用各种算法和策略,始终保持系统行为的可预测性.即在任何情况下,在系统运行的任何时刻,OS的资源配置策略都能为争夺资源(包括CPU.内存.网络带宽等)的多个实时任务合理地分配资源,使每个实时任务的实时性要求都能得到满足. 3. GPOS与RTOS GPOS:注重每次执行的平均响应时间,而不是某次特定执行的响应时间. RTOS:除满足应用功能需求外,还要满足实时性要求,始终保证系统行为的可预测…

OpenStack最新版本Folsom架构解析摘要:OpenStack的第6版,版本代号为Folsom的最新版于今年九月底正式发布,Folsom将支持下一代软件定义网络(SDN)作为其核心组成部分.Folsom改进了现有代码的可用性和稳定性,包括185个新功能,最主要是虚拟网络方面的功能,而且这也是新成立的OpenStack基金会推出的第一个软件版本. 两年前OpenStack基于NASA的Nova项目和Rackspace的Swift项目合并得以建立,而今OpenStack已经成为云计算领域的一…

每次看到马路对面摩托罗拉的大牌子,都想起谷歌125亿美元收购摩托罗拉移动,后来又以29亿美元卖给联想的事情.谷歌所做的决策都比较考虑长远利益,在这串交易中,谷歌获得了摩托罗拉最有价值的几千项专利,稳健了Android的生态.谷歌曾经在美国一个地区占用巨大的面积建立了太阳能发电站,人称“烤鸟”项目.因为鸟儿从此地飞过会因为太热而从天上掉下来变成熟鸟.而产生的电能仅够一个小村庄使用.但是正是这种愿意去尝试才推动了科技的发展.让谷歌这么多年屹立不倒. Databus是LinkedIn开源的一款低延迟的…

写在前面 cassandra3.x官方文档的非官方翻译.翻译内容水平全依赖本人英文水平和对cassandra的理解.所以强烈建议阅读英文版cassandra 3.x 官方文档.此文档一半是翻译,一半是个人对cassandra的认知.尽量将我的理解通过引用的方式标注,以示区别.另外文档翻译是项长期并有挑战的工作,如果你愿意加入cassandra git book,可以发信给我.当然你也可以加入我们的QQ群,104822562.一起学习探讨cassandra. 架构简介 cassandra是为跨多个…

转自:http://www.blogjava.net/DLevin/archive/2015/08/22/426950.html 前言 这是<深入HBase架构解析(一)>的续,不多废话,继续.... HBase读的实现 通过前文的描述,我们知道在HBase写时,相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起,甚至删除一个Cell也只是写入一个新的Cell,它含有Delete标记,而不一定将一个Cell真正删除了,因而这就引起了一个问题,如何实现读的问题…

<重构网络-SDN架构与实现>: SDNLAB <重构网络-SDN架构与实现>新书有奖试读活动 资源下载 随笔 有幸拜读了李呈前辈和杨泽卫杨老师的作品<重构网络-SDN架构与实现>的前两个章节,晚辈阅读该书之后感悟和学习颇多,特此记之.由于我对章节一的印象十分深刻,所以本文主要是对章节一的小结和感想. 试读章节共有两章,第一章是"SDN重塑网络",第二章是"SDN南向协议",结构如下: Ch1.SDN重塑网络 1.1 SDN是什么…

深入HBase架构解析(二) 前言 这是<深入HBase架构解析(一)>的续,不多废话,继续.... HBase读的实现 通过前文的描述,我们知道在HBase写时,相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起,甚至删除一个Cell也只是写入一个新的Cell,它含有Delete标记,而不一定将一个Cell真正删除了,因而这就引起了一个问题,如何实现读的问题?要解决这个问题,我们先来分析一下相同的Cell可能存在的位置:首先对新写入的Cell,它会存在于M…

深入HBase架构解析(一)   前记 公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Architecture,原本想翻译全文,然而如果翻译就需要各种咬文嚼字,太麻烦,因而本文大部分使用了自己的语言,并且加入了其他资源的参考理解以及本人自己读源码时对其的理解,属于半翻译.半原创吧. HBase架构组成 HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由一下类型…

本文来自腾讯资深架构师杨志华的分享. 1.前言 也许没有多少人记得2004年发生的事情.但对于老腾讯来说,14年前的那个日子,2004年6月16日永远难以忘怀.这一天,QQ诞生5年后的腾讯在香港联交所主板上市,由此拉开了腾讯快速成长的序幕. 这14年间,腾讯的网络基础架构也伴随着各种业务的发展而发展,变迁而变迁.早年间网络经历的一切,不管是窘迫.重压,还是喜悦都渐渐消失在人们的记忆中,只能在泛黄的老照片,老员工零碎的讲述中寻觅... 学习交流: - 即时通讯开发交流群:320837163[推荐]…

https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html 周 明耀2015 年 6 月 10 日发布 示例:网络游戏 假设我们正在开发一个在线网络游戏平台,这个平台需要支持大量的在线用户实时操作,玩家在一个虚拟的世界里通过互相协作的方式一起完成每一个任务.由于游戏当中允许玩家互相交易金币.道具,我们必须确保玩家之间的诚信关系,而为了确保玩家之间的诚信及账户安全,我们需要对玩家的 IP 地址进行追踪,当出现一个长…

学界| UC Berkeley提出新型分布式框架Ray:实时动态学习的开端 from:https://baijia.baidu.com/s?id=1587367874517247282&wfr=pc&fr=_lst 为应对新型 AI 应用不断提高的性能需求,近日 Michael Jordan 等人提出了一个新型的分布式框架 Ray,主要针对当前集群计算框架无法满足高吞吐量和低延迟需求的问题,以及很多模拟框架局限于静态计算图的缺点,并指出强化学习范式可以自然地结合该框架. 人工智能在一些现实…

2019 年 10 月 27 日,又拍云联合 Apache APISIX 社区举办 API 网关与高性能服务最佳实践丨Open Talk 杭州站活动,Apache APISIX PPMC 成员王院生做了题为< Apache APISIX 微服务网关极致性能架构解析>的分享.本次活动,邀请了来自阿里巴巴.蚂蚁金服.Apache APISIX.PolarisTech.又拍云等企业的技术专家,分享网关和高性能服务的实战经验. 王院生,深圳支流科技创始人,Apache APISIX PPMC 成员,O…

最近做了一些系统和网络调优相关的测试,达到了期望的效果,有些感悟.同时,我也发现知乎上对Linux服务器低延迟技术的讨论比较欠缺(满嘴高并发现象):或者对现今cpu + 网卡的低延迟潜力认识不足(动辄FPGA现象),比如一篇知乎高赞的介绍FPGA的文章写到“从延迟上讲,网卡把数据包收到 CPU,CPU 再发给网卡,即使使用 DPDK 这样高性能的数据包处理框架,延迟也有 4~5 微秒.更严重的问题是,通用 CPU 的延迟不够稳定.例如当负载较高时,转发延迟可能升到几十微秒甚至更高”,刚好我前几天…

我花了10个小时,写出了这篇K8S架构解析 https://www.toutiao.com/i6759071724785893891/   每个微服务通过 Docker 进行发布,随着业务的发展,系统中遍布着各种各样的容器.于是,容器的资源调度,部署运行,扩容缩容就是我们要面临的问题. 基于 Kubernetes 作为容器集群的管理平台被广泛应用,今天我们一起来看看 Kubernetes 的架构中有那些常用的组件以及运行原理. Kubernetes 架构概述 Kubernetes 是用来管理容器…

摘自:http://www.cnblogs.com/answerinthewind/p/6200497.html LoRaWAN协议(一)-----架构解析 (1)LoRaWAN分层 LoRaWAN总体架构一共分为4个部分: 从图中看,用户从节点获取数据的通讯过程可以分为三个部分: 1.MOTE<——>GW(MAC层) 2.GW<——>Server 3.Sever<——>用户 LoRa联盟规定了MAC层的通讯协议,只有在设备(GW.MOTE)共同遵守的MAC层协议的前提…