10Gb以太网适配器制.网卡造商Solarflare目前正在将自己的网卡系列产品转变为服务器产品.其产品在金融领域有着广泛的应用. Solarflare首先将现场可编程门阵列(FPGA)放入网络适配器中并使用特殊的软件来从服务器中加载算法和数据,从让网卡能够部分实现网络服务器的功能. FPGA在电子产品设计领域应用非常广泛,其允许编码器以不同的方式来实现各种功能,甚至连CPU也是某种程度上讲的高端FPGA.在学术领域.金融业以及超算行业,FPGA已经取得了一定的成功. 而Solarflare的目…

一.背景 现在到处是摄像头的时代,随着带宽的不断提速和智能手机的普及催生出火热的网络直播行业,新冠病毒的大流行又使网络视频会议系统成为商务会议的必然选择,因此RTSP实时视频流播放及处理不再局限于安防行业.在如道路.工厂.楼宇.学校.港口.农场.景区等场景实施的信息化系统中,已基本全采用B/S架构,迫切需要在浏览器中嵌入多路摄像头RTSP流的超低延迟(小于500毫秒)播放功能,而在IE及Chrome 49以下版本等浏览器中,采用ActiveX控件或NPAPI插件即可实现.然而美好总是短暂的,从2…

EasyPlayer RTSP Windows专用播放器 EasyPlayer RTSP Windows 播放器是由EasyDarwin团队开发和维护的一个完善的RTSP流媒体播放器项目,视频编码支持H.264,H.265,MPEG4,MJPEG,音频支持G711A,G711U,G726,AAC,支持RTSP over TCP/UDP协议,支持软/硬解码,是一套极佳的安防流媒体平台播放组件!EasyPlayer Windows版本经过了很多年的发展和迭代,在很多商业项目中使用,已经非常稳定.完整…

5 月 19.20 日,行业精英齐聚的 WebRTCon 2018 在上海举办.又拍云 PrismCDN 项目负责人凌建发在大会做了<又拍云低延时的 WebP2P 直播实践>的精彩分享. 分享介绍了 WebP2P 行业将从 FlashP2P 逐步进入 H5P2P,并分享了又拍云 PrismCDN 网络如何突破传统 P2P 网络高延迟.低分享率的难题. 因分享内容较多,特将演讲整理为两部分: 取代 FlashP2P,H5P2P 将成为 WebP2P 主流:介绍几类 P2P 的架构.原理.优劣势,…

https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html 周 明耀2015 年 6 月 10 日发布 示例:网络游戏 假设我们正在开发一个在线网络游戏平台,这个平台需要支持大量的在线用户实时操作,玩家在一个虚拟的世界里通过互相协作的方式一起完成每一个任务.由于游戏当中允许玩家互相交易金币.道具,我们必须确保玩家之间的诚信关系,而为了确保玩家之间的诚信及账户安全,我们需要对玩家的 IP 地址进行追踪,当出现一个长…

最近做了一些系统和网络调优相关的测试,达到了期望的效果,有些感悟.同时,我也发现知乎上对Linux服务器低延迟技术的讨论比较欠缺(满嘴高并发现象):或者对现今cpu + 网卡的低延迟潜力认识不足(动辄FPGA现象),比如一篇知乎高赞的介绍FPGA的文章写到“从延迟上讲,网卡把数据包收到 CPU,CPU 再发给网卡,即使使用 DPDK 这样高性能的数据包处理框架,延迟也有 4~5 微秒.更严重的问题是,通用 CPU 的延迟不够稳定.例如当负载较高时,转发延迟可能升到几十微秒甚至更高”,刚好我前几天…

高频交易 高频交易是指从那些人们无法利用的极为短暂的市场变化中寻求获利的计算机化交易,比如,某种证券买入价和卖出价差价的微小变化,或者某只股票在不同交易所之间的微小价差.在高频交易中,自动化应用程序每天处理几亿个市场信号,在全球各地的交易所发送上千万个订单.为了保持业务竞争力,响应时间必须始终保持在微秒级,尤其是在黑天鹅异常事件等高峰期. 高频交易系统的典型系统结构一般是这样:金融交易信号将转换成内部市场数据格式(交易使用TCP.UDP等各种协议)和多种格式(如二进制.SBE.JSON.FIX等…

高频交易算法研发心得--RSI指标及应用 前面文章中我们提到了MA均线(包括EMA,SMA).MACD以及SAR指标,这三类指标存在一个共同特点,即:从固定周期的价格作为判读的指导思想,并将价格进行平滑处理,然后得到可参考的判读结果. 今天我们变换思维,并从市场的角度来考量问题,同时,来聊聊RSI指标. 1.       指标定义 RSI:相对强弱指数(Relative Strength Index),是根据一定时期内上涨点数和涨跌点数之和的比率制作出的一种技术曲线.能够反映出市场在一定时期内的…

from:  http://blog.csdn.net/jacktan/article/details/41177779 在很久很久以前,如果有人让我用Java语言开发一个低延迟系统,我肯定会用迷茫的眼神望着他,然后说“are you kidding me?”.然而随着Java语言的日臻完善以及JVM性能的极速提升,使得用Java语言开发低延迟(不要和实时系统搞混)系统越来越成为可能,其中就包括最典型的交易(支付)系统.当然作为系统架构师,他们会尝试使用一些成熟分布式架构方案(通常是整合一些商业…

原帖地址:https://www.fmz.com/bbs-topic/1184在商品期货高频交易策略中, Tick行情的接收速度对策略的盈利结果有着决定性的影响,但市面上大多数交易框架,都是采用回调模式的机制, onBar/onTick, Tick不漏掉就不错了, 为什么呢因为onBar/onTick函数里面,你要处理一整遍代码逻辑,很浪费时间, 不管你愿不愿意,你的策略逻辑必须被打断,必须采用状态机的模式,比如: var state = STATE_IDLE; function onTick(…

著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处.作者:袁浩瀚链接:https://www.zhihu.com/question/21789812/answer/22178178来源:知乎 谢邀.高频交易我非此中高手,故问题不敢贸然回答,积蓄多时,终敢开口,所以此处作长文聊聊高频交易,请慢读. 有人的地方就有江湖,有江湖的地方就有流派.在投资界,若巴菲特.彼特林奇一宗是九阳真经,武林正道,以绵绵不绝的内力和朴实无华的招式号令天下,那浑水.香橼之流做空公司,则是武林异类,苦修吸星…

每次看到马路对面摩托罗拉的大牌子,都想起谷歌125亿美元收购摩托罗拉移动,后来又以29亿美元卖给联想的事情.谷歌所做的决策都比较考虑长远利益,在这串交易中,谷歌获得了摩托罗拉最有价值的几千项专利,稳健了Android的生态.谷歌曾经在美国一个地区占用巨大的面积建立了太阳能发电站,人称“烤鸟”项目.因为鸟儿从此地飞过会因为太热而从天上掉下来变成熟鸟.而产生的电能仅够一个小村庄使用.但是正是这种愿意去尝试才推动了科技的发展.让谷歌这么多年屹立不倒. Databus是LinkedIn开源的一款低延迟的…

高吞吐低延迟Java应用的垃圾回收优化 高性能应用构成了现代网络的支柱.LinkedIn有许多内部高吞吐量服务来满足每秒数千次的用户请求.要优化用户体验,低延迟地响应这些请求非常重要. 比如说,用户经常用到的一个功能是了解动态信息——不断更新的专业活动和内容的列表.动态信息在LinkedIn随处可见,包括公司页面,学校页面以及最重要的主页.基础动态信息数据平台为我们的经济图谱(会员,公司,群组等等)中各种实体的更新建立索引,它必须高吞吐低延迟地实现相关的更新. 图1 LinkedIn 动态信息…

技术扫盲:新一代基于UDP的低延时网络传输层协议——QUIC详解    http://www.52im.net/thread-1309-1-1.html   本文来自腾讯资深研发工程师罗成的技术分享,主要介绍 QUIC 协议产生的背景和核心特性等. 1.写在前面 如果你的 App,在不需要任何修改的情况下就能提升 15% 以上的访问速度.特别是弱网络的时候能够提升 20% 以上的访问速度. 如果你的 App,在频繁切换 4G 和 WIFI 网络的情况下,不会断线,不需要重连,用户无任何感知.如果…

QQ视频直播架构及原理 - tianyu的专栏 - CSDN博客 https://blog.csdn.net/wishfly/article/details/53035342 作者:王宇(腾讯音视频高级架构师) 自我介绍下,毕业以来加入腾讯,一直从事客户端研发,身处互联网公司,踏着互联网的浪潮,一直在浪尖行走,从最早的PC QQ,到移动时代的手Q,再到腾讯物联的嵌入式,以及最近这两年直播领域风起云涌,接下来主要给大家介绍下QQ视频直播的架构及原理. 今天主要给大家介绍三个方面的内容,视频直播的框…

本篇原文作者是 LinkedIn 的 Swapnil Ghike,这篇文章讲述了 LinkedIn 的 Feed 产品的 GC 优化过程,虽然文章写作于 April 8, 2014,但其中的很多内容和知识点非常有学习和参考意义. 背景 高性能应用构成了现代网络的支柱.LinkedIn 内部有许多高吞吐量服务来满足每秒成千上万的用户请求.为了获得最佳的用户体验,以低延迟响应这些请求是非常重要的. 例如,我们的用户经常使用的产品是 Feed -- 它是一个不断更新的专业活动和内容的列表.Feed 在…

分享嘉宾:翟佳 StreamNative 联合创始人 编辑整理:张晓伟 美团点评 出品平台:DataFunTalk 导读:多数读者们了解BookKeeper是通过Pulsar,实际上BookKeeper在数据库和存储场景都有着非常广泛的应用.BookKeeper是Pulsar的底层存储,Pulsar有着广泛数据入口,Pulsar跟Kafka及各类MQ(RabbitMQ.ACTIVEMQ)的较大区别是Pulsar是统一的云原生消息流平台,不但是分布式系统,而且做了存算分离,可以让用户在云的环境下,…

高频交易策略之Penny Jump 今天假设有一个笨笨的大型机构投资人(共同基金,银行,退休基金....),他想要买进一只股票,但又不想挂市价买进,所以就在市场里面挂了一张要买进的大单.这时候所有市场里面的人都会看的到limit order book里面有人挂进了大单准备要买进这只股票. 假设市场本来的order book是200 | $1.01 x $1.03 | 200,然后突然这个笨笨的机构投资人进来挂了一张3000股$1.01 的买单,这时候order book会变成3,200 | $1…

高频交易算法研发心得--WAVT指标(Warensoft交易量趋势指标)算法及应用 注:WAVT指标由Warensoft(王宇)原创. 前面聊了一系列的常见应用指标,包括短线.长线的指标,并且也无耐的指出每种指标的问题.当然每写一篇文章,也都是一次学习过程.经过一年多的学习研究,笔者也自创了一个应用指标,并将其命名为WAT指标,本次让我们一起来探讨一下,欢迎大家扔砖! 1.指标定义 WAVT:Warensoft交易量趋势(Warensoft Volume Trend),是根据一定时期内交易量描述…

ZGC, A Scalable Low-Latency Garbage Collector(Experimental) 可伸缩,低延迟的gc ZGC, 这应该是JDK11最为瞩目的特性, 没有之一. 但是后面带了Experimental, 说明这还不建议用到生产环境. GC暂停时间不会超过10ms 既能处理几百兆的小堆, 也能处理几个T的大堆(OMG) 和G1相比, 应用吞吐能力不会下降超过15% 为未来的GC功能和利用colord指针以及Load barriers优化奠定基础 初始只支持64位…

# 背景正如我们所知道的在JDK 11中即将迎来ZGC(The Z Garbage Collector),这是一个处于实验阶段的,可扩展的低延迟垃圾回收器.本文整合了外网几篇介绍ZGC的文章和代码. # 目标* 每次GC STW的时间不超过10ms* 能够处理从几百M到几T的JAVA堆* 与G1相比,吞吐量下降不超过15%* 为未来的GC功能和优化利用有色对象指针(colored oops)和加载屏障(load barriers)奠定基础* 初始支持Linux/x64 # 描述ZGC的特点:*…

学界| UC Berkeley提出新型分布式框架Ray:实时动态学习的开端 from:https://baijia.baidu.com/s?id=1587367874517247282&wfr=pc&fr=_lst 为应对新型 AI 应用不断提高的性能需求,近日 Michael Jordan 等人提出了一个新型的分布式框架 Ray,主要针对当前集群计算框架无法满足高吞吐量和低延迟需求的问题,以及很多模拟框架局限于静态计算图的缺点,并指出强化学习范式可以自然地结合该框架. 人工智能在一些现实…

前言 Shenandoah作为第一款不由Oracle(包括一起的Sun)公司的虚拟机团队所领导开发的HotSpot垃圾收集器.是只存在于OpenJDK当中的,最初由RedHat公司创建的,在2014年的时候贡献给了OpenJDK. 与G1相比的优点 从代码的历史渊源上来看,Shenandoah收集器更像是G1的下一代继承者,两者相似的堆内存布局,在初始标记.并发标记等许多阶段的处理思路都高度一致. 但是Shenandoah相比G1还是至少有三个明显的不同之处. 1.支持并发的整理算法,G1的回收…

本文部分摘自<深入理解 Java 虚拟机第三版> 概述 衡量垃圾收集器的三项指标分别是:内存占用.吞吐量和延迟.这三者共同构成一个"不可能三角",即一款优秀的收集器最多可以同时达成其中两项 随着硬件性能的提升,对内存占用和吞吐量也有所助益,但对延迟却并非如此.比如内存扩大了,对延迟反而会带来负面效果,因为回收 1TB 的堆内存毫无疑问会比回收 1GB 的堆内存耗费更多时间.因此,延迟成为了垃圾收集器最重视的性能指标 在 CMS 和 G1 之前的全部收集器,其工作的所有步骤都…

T 摘要 · 云原生与数据湖是当今大数据领域最热的 2 个话题,本文着重从为什么传统数仓 无法满足业务需求? 为何需要建设数据湖?数据湖整体技术架构.Apache Hudi 存储模式与视图.如何解决冷数据频繁更新.如何在数据湖上进行准实时 分析.数据湖上调度为何选型 Apache DolphinScheduler.二次开发新特性以及规划等多个角度进行了阐述. 讲师介绍 杨华,T3 出行大数据平台负责人.Apache Hudi Committer & PMC.Apache Kylin Commit…

近年来出现了从单体架构向微服务架构的转变.微服务架构使应用程序更容易扩展和更快地开发,支持创新并加快新功能上线时间.但是这种方法会导致数据存在于不同的孤岛中,这使得执行分析变得困难.为了获得更深入和更丰富的见解,企业应该将来自不同孤岛的所有数据集中到一个地方. AWS 提供复制工具,例如 AWS Database Migration Service (AWS DMS),用于将数据更改从各种源数据库复制到各种目标,包括 Amazon Simple Storage Service (Amazon S…

AP是什么? AP是Access Point的简称,即无线接入点,其作用是把局域网里通过双绞线传输的有线信号(即电信号)经过编译,转换成无线电信号传递给电脑.手机等无线终端,与此同时,又把这些无线终端发送的无线信号转换成有线信号通过双绞线在局域网内传输.通过这种方式,形成无线覆盖,即无线局域网.我们通常说AP,都是指下文里的瘦AP. 胖AP(Fat)和瘦AP(Fit)又是啥? AP通常可以分为胖AP(Fat AP)和瘦AP(Fit AP)两类. 当然,不是以外观来区分的,而是从其工作原理和功能上…

Market Order以最高速下市价单(market order)是买方最基本的策略 Looking for Price Discrepancies 这个就是高频统计套利(high frequency statistical arbitrage) Indulging in Momentum Ignition人为制造价格上的spike诱使其它算法交易策略下单 Poke for Bargains发不同的Immediate Or Cancel Order来试探市场, 反制做市商的Hide Your…

今天假设有一个笨笨的大型机构投资人(共同基金,银行,退休基金....),他想要买进一只股票,但又不想挂市价买进,所以就在市场里面挂了一张要买进的大单.这时候所有市场里面的人都会看的到limit order book里面有人挂进了大单准备要买进这只股票. 假设市场本来的order book是200 | $1.01 x $1.03 | 200,然后突然这个笨笨的机构投资人进来挂了一张3000股$1.01 的买单,这时候order book会变成3,200 | $1.01 x $1.03 | 200.…

大家看到标题后的第一个问题可能是:“我们需要这样做吗?” 如果我们开发的是局域网 Web 应用的话,可能没有必要这样做.但如果我们的 Web 应用面向的是互联网上的成千上万的用户,这样做就很必要了.因为在现实世界中并不是所有的用户都有高数率的网络连接,也许用户使用的是拨号接入,移动设备,3G,或者是 USB 网络加密狗.如果我们没有在低数率的网络环境中测试过我们 Web 应用,极有可能在上线后收到一些意想不到的关于系统性能方面的抱怨.这个时候无论我们的 Web 应用界面多么地 Web 2.0,功…