背景 最近发现Confluent公司在官网上发布了Kafka Streams教程,共有10节课,每节课给出了Kafka Streams的一个功能介绍.这个系列教程对于我们了解Kafka Streams还是很有帮助的.为什么要了解Kafka Streams?其实我一直觉得国内对于Flink有点过于迷恋了.大厂使用Flink尚自合理,毕竟数据量大且需要整套的集群管理调度监控功能.但一般的中小公司业务简单体量小,何必要费时费力地搭建一整套Flink集群.有很多简单的流处理业务场景使用Kafka Str…

1. 背景 上一篇演示了split操作算子的用法.今天展示一下split的逆操作:merge.Merge算子的作用是把多股实时消息流合并到一个单一的流中. 2. 功能演示说明 假设我们有多个Kafka topic,每个topic表示某类特定音乐类型的歌曲,比如有摇滚乐.古典乐等.本例中我们演示如何使用Kafka Streams将这些歌曲合并到一个Kafka topic中.我们依然使用Protocol Buffer对歌曲进行序列化和反序列化.你大概可以认为歌曲可以用下面的格式来表示: {"arti…

背景 上一篇演示了filter操作算子的用法.今天展示一下如何根据不同的条件谓词(Predicate)将一个消息流实时地进行分流,划分成多个新的消息流,即所谓的流split.有的时候我们想要对消息流中的不同消息类型进行不同的处理逻辑,此时流split功能就显得非常的实用. 演示功能说明 今天依然使用表征一个电影的消息类型,格式如下: {"name": "Meryl Streep", "title": "The Iron Lady&quo…

背景 上一篇我们介绍了Kafka Streams中的消息过滤操作filter,今天我们展示一个对消息进行转换Key的操作,依然是结合一个具体的实例展开介绍.所谓转换Key是指对流处理中每条消息的Key进行变换操作,以方便后面进行各种groupByKey操作. 演示功能说明 本篇演示selectKey的用法,即根据指定的Key选择逻辑对每条消息的Key进行变换操作.今天使用的输入topic消息格式如下: ID | First Name | Last Name | Phone Number 比如这样…

背景 上一篇我们介绍了Kafka Streams中的消息转换操作map,今天我们给出另一个经典的转换操作filter的用法.依然是结合一个具体的实例展开介绍. 演示功能说明 本篇演示filter用法,即根据给定的过滤条件或逻辑实时对每条消息进行过滤处理.今天使用的输入topic消息格式如下: {"name": "George R. R. Martin", "title": "A Song of Ice and Fire"} {…

Kafka安装 首先我们需要在windows服务器上安装kafka以及zookeeper,有关zookeeper的介绍将会在后续进行讲解. 在网上可以找到相应的安装方式,我采用的是腾讯云服务器,借鉴的是https://www.cnblogs.com/lnice/p/9668750.html 根据上面博客安装完成后,我们在kafka中新建了一个名叫test的Topic,并新建了一个生产者和一个消费者. 注:控制台生产者和控制台消费者的数据不同是因为我用.net开发了一个生产者所致,后面会讲 .ne…

openresty 前端开发入门五之Mysql篇 这章主要演示怎么通过lua连接mysql,并根据用户输入的name从mysql获取数据,并返回给用户 操作mysql主要用到了lua-resty-mysql库,代码可以在github上找得到 而且上面也有实例代码 由于官网给出的例子比较基本,代码也比较多,所以我这里主要介绍一些怎么封装一下,简化我们调用的代码 lua/mysql.lua local mysql = require "resty.mysql" local config =…

WEB开发入门 1 进入web JAVASE:标准- standard   JAVA桌面程序 GUI    SOCKET JAVAEE:企业-浏览器控制  web 2 软件结构 C/S :client-servlet  客户端--服务器 QQ, 飞秋 特点:必须下载安装客户端程序 服务器升级,客户端也需要升级 B/S:broswer-server  浏览器端--服务器 淘宝 京东 特点:需要安装客户端软件只需要浏览器即可 服务器升级,浏览器不需要升级 JAVAEE  ---JAVA WEB 是用…

原文链接:Hello, Android Multiscreen_DeepDive. 译文链接:Xamarin.Android开发入门--Hello,Android Multiscreen深入理解. 本部分介绍利用Xamarin.Android处理导航 Hello,Android Multiscreen Deep Dive 在Hello,Android Multiscreen Quickstart中,我们建立并运行了我们第一个多屏Xamarin.Android应用.接下来我们将深入理解Androi…

返回索引目录 原文链接:Hello, Android_DeepDive. 译文链接:Xamarin.Android开发入门--Hello,Android深入理解 本部分介绍利用Xamarin开发Android应用程序 Hello, Android Deep Dive 在Hello, Android Quickstart(原文,译文)中,我们创建并运行了我们第一个Xamarin.Android应用程序.现在我们对Android应用如何工作进行进一步学习了解,以便于我们开发更加复杂的程序. 在本指南…