Kafka介绍 Kafka是Apache软件基金会开发的一个开源流处理平台,由Java和Scala编写:Kafka是一种高吞吐.分布式.基于订阅发布的消息系统. Kafka名称解释 Producer:生产者 Consumer:消费者 Topic:消息主题,每一类的消息称之为一个主题 Broker:Kafka以集群的方式运行,可以由一个或多个服务器组成,每个服务器叫做一个broker Partition:物理概念上的分区,为了提供系统吞吐量,在物理上每个Topic会分为一个或多个Partition…

版权声明:本文为博主原创文章,未经博主允许不得转载.   目录(?)[+] 安装Microsoft SQL Server Native Client 安装golang的mssql驱动 写测试代码   我擦,最近下了几十个G的数据(哈哈,你们懂的),都是mssql格式的,需要处理下.想用golang处理,于是就需要golang连接mssql. 1.安装Microsoft SQL Server Native Client 去官方下载吧,下载地址: http://www.microsoft.com/z…

Golang连接Oracle的库有很多,比较常见的如下: 不过,oralce 只提供了 oci8 的接口,必须通过它来调用,所以下面方案都逃不过相关设置. 1.go-db-oracle 地址: https://code.google.com/p/go-db-oracle/ 官方介绍: Oracle Driver using cgo to call OCI libraries from Oracle Instant Client 11. Developed with Linux Status in…

1. 前言 按照我自己设计的物联网框架,对于MQTT集群中的所有消息,是要持久化到磁盘的,这里采用一个消息队列中间件Kafka作为数据缓冲,缓冲结果存到数据仓库中,以供后续作为数据分析.由于MQTT集群中的消息都是比较分散的,所以使用Kafka来聚合.采集消息. 2. 下载&编译&安装 Kafka依赖ZooKeeper 在这里下载 http://mirrors.shuosc.org/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar…

Kafka的安装与启动 kafka中涉及的名词 消息记录:由一个key,一个value和一个时间戳构成,消息最终存储在主题下的分区中,记录在生产中称为生产者记录,在消费者中称为消费记录.Kafka集群保持了所有发布的消息,直到它们过期,无论消息是否被消费了,在一个可配置的时间段内,Kafka集群保留了所有发布的消息.比如消息的保存策略被设置为2天,那么在一个消息被发布的两天时间内,它都是可以被消费的.Kafka的性能是和数据量无关的常量级的,所以保留太多数据并不是问题 生成者:生产者用于发布消息…

当使用较新版本SpringBoot时,对应的 kafka-client 版本也比较新,如果使用了 2.x 以上的 kafka-client ,并且配置了 kafka ssl 连接方式时,可能会报如下异常: javax.net.ssl.SSLException: Inbound closed before receiving peer's close_notify: possible truncation attack? ..... org.apache.kafka.common.errors.S…

0x0 需求 消费Kafka的日志并写入ElasticSearch供查询 0x1 依赖库 golang版Kafka客户端 https://github.com/Shopify/sarama golang版ElasticSearch客户端  https://github.com/elastic/go-elasticsearch 0x2 实现 总共分3部分 1.Kafka消费者 // LogJson json格式 type LogJson struct { Tag string `json:"tag…

介绍 使用golang连接activemq发送数据的话,需要使用一个叫做stomp的包,直接go get github.com/go-stomp/stomp即可 代码 生产者 package main import ( "fmt" "github.com/go-stomp/stomp" "time" ) func main(){ // 调用Dial方法,第一个参数是"tcp",第二个参数则是ip:port // 返回conn(…

golang连接达梦数据库的一个坑 有一次项目中用到了达梦数据库,后端语言使用的golang,达梦官方并未适配专门的golang连接方式,正一筹莫展的时候发现达梦提供了odbc的连接,这样可以使用类似mssql的odbc连接方式连接达梦数据库. 使用的达梦数据库版本为DM8 达梦数据库开启odbc连接 参考博客1.参考博客2 参照上面两个博客内容配置odbc连接 golang代码 一些参考文档: package main import ( "fmt" _ "github.co…

这篇博客是用来记录用go安装及操作kafka库的时候踩到的坑~ 安装kafka库 首先我参考了博客:https://blog.csdn.net/tflasd1157/article/details/81985722和https://blog.csdn.net/u011596455/article/details/80073841 在go get github.com/Shopify/sarama安装过程中出现了 package golang.org/x/net/proxy: unrecogniz…