背景 Apache Pulsar 是下一代分布式消息流平台,采用计算存储分层架构,具备多租户.高一致.高性能.百万 topic.数据平滑迁移等诸多优势.越来越多的企业正在使用 Pulsar 或者尝试将 Pulsar 应用到生产环境中. 腾讯把 Pulsar 作为计费系统的消息总线来支撑千亿级在线交易.腾讯计费体量庞大,要解决的核心问题就是必须确保钱货一致.首先,保证每一笔支付交易不出现错账,做到高一致.高可靠.其次,保证计费承载的所有业务 7*24 可用,做到高可用.高性能.计费消息总线必须具备…

决策树是最经常使用的数据挖掘算法,本次分享jacky带你深入浅出,走进决策树的世界 基本概念 决策树(Decision Tree) 它通过对训练样本的学习,并建立分类规则,然后依据分类规则,对新样本数据进行分类预测,属于有监督学习. 优点 1)决策树易于理解和实现 使用者不需要了解很多的背景知识,通过决策树就能够直观形象的了解分类规则: 2)决策树能够同时处理数值型和非数值型数据 在相对短的时间内,能够对大型数据做出可行且效果良好的结果: 逻辑-类比找对象 决策树分类的思想类似于找对象,例如一个…

作为一家创新驱动的科技公司,袋鼠云每年研发投入达数千万,公司80%员工都是技术人员,袋鼠云产品家族包括企业级一站式数据中台PaaS数栈.交互式数据可视化大屏开发平台Easy[V]等产品也在迅速迭代.在进行产品研发的过程中,技术小哥哥们能文能武,不断提升产品性能和体验的同时,也把这些提升和优化过程记录下来,现录入“袋鼠云研发手记”专栏中,以和业内童鞋们分享交流. 下为“袋鼠云研发手记”专栏第二期,本期作者为袋鼠云数栈引擎团队. 袋鼠云数栈引擎团队 袋鼠云数栈引擎团队拥有多名专家级别,经验丰富的后端…

目录 引言 控制反转 读写分离分库分表 理论基础 设计目标 现状调研 设计思路 实现之过五关斩六将 动态对象 动态模型缓存 数据源移植 查询表达式树深度移植 数据合并算法 事务支持 实际使用 展望未来 引言 前方硬核警告:全文干货11000+字,请耐心阅读 遥想去年这个时候,差不多刚刚毕业,如今正式工作差不多一年了.Colder开源快速开发框架从上次版本发布至今差不多有三个月了,Github的星星5个版本框架总共也有近800颗,QQ群从最初的一个人发展到现在的500人(吐槽下,人数上限了,太穷开…

本文始发于个人公众号:TechFlow,原创不易,求个关注 今天是周五分布式系统的第八篇文章,核心内容是B+树的原理. 今天的文章是上周B树的延伸,所以新关注的或者是有所遗忘的同学建议先从下方链接回顾之前的内容. 硬核挑战--从零开始动手图解B树 B+树的特性 B+树和B树一样都是多路平衡树,也叫多叉树.两者的性质也基本一致,在具体来看详细内容之前,我们先来总体看下B+树的特性,先有个大概的印象. 我个人认为B+树大部分特性都和B树一样,唯一不同的只有以下几点: 所有的数据都存储在叶子节点,中间…

1. 前言 随着互联网软件行业快速发展,为了抢占市场先机,企业不得不持续提高软件的交付效率.特别是现在国内越来越多企业已经在逐步引入DevOps研发模式的变迁,在这些背景催促之下,对于企业研发团队所需要具备的持续集成和持续交付(简称CI/CD)能力变得越来越不可或缺. 相信现在不管是开发人员.测试人员或者是运维人员,在求职招聘时,基本上如果是面试的是中高级以上的职位,大多都要求要具备相关CI/CD的项目建设或参与搭建经验. 为了帮助到更多技术读者,从本周起,将以<持续集成实践系列>为主题,分享…

本文作者为 jesse-anderson.内容由 StreamNative 翻译并整理. 以三个实际使用场景为例,从 CTO 的视角出发,在技术等方面对比 Kafka 和 Pulsar. 阅读本文需要大约 8 分钟. 关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息.存储.轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户.持久化存储.多机房跨区域数据复制,具有强一致性.高吞吐.低延时及高可扩展…

开发测试时给 Kafka 发消息的 UI 发送器――Mikasa 说来话长,自从入了花瓣,整个人就掉进连环坑了. 后端元数据采集是用 Storm 来走拓扑流程的,又因为 @Zola 不是很喜欢 Java,所以退而求其次选择了 Clojure,所以正在苦逼地学习 Clojure 和 Storm 中. 目前来说外面的 Storm 拓扑的 Spout 是从 Kafka 中流入数据的.但是我们要给 Kafka 发送测试数据的时候,就需要跑到 Kafka 的测试服务器打开它的一个发送脚本进去发送,非常蛋疼…

硬核 zynq和pynq系列的fpga都是双ARM/Cortex-A9构成,这里的ARM处理器为硬核,Cortex-A9部分为FPGA部分.即整体分为两部分:PS/PL.PS部分为A9处理器部分,PL为FPGA可编程逻辑部分. 软核-MicroBlaze NetFPGA-1G-CML-live/NetFPGA-SUME-live 中使用的内核是Kintex-7 device,并没有嵌入A9这样的ARM处理器,而是采用的软核(MicroBlaze),又称之为嵌入式CPU.在SDK环节其开发流程与带…

目前,在FPGA上嵌入ARM硬核的包括Xilinx的zynq系列以及Intel 的CYCLONEV系列. Zynq出来有一定市场,但是这个市场不是传统FPGA的主流市场,而是为了和微处理抢一些控制领域的市场.但是目前在反响上,听说,不如预期,首先对小公司来说,同时熟悉ARM和FPGA的人不多,在大公司来说,由于他们面向的市场对专业分工要求更高,一般都使用FPGA+CPU的方式,对这类Zynq这种新鲜事物还是持保留态度的,观望的比较多. 但随着技术及工具的发展,zynq的使用越来越受到许多公司青睐…