mongo变更流使用及windows下副本集五分钟搭建
mongodb的变更流解释:
变更流（Change Streams）允许应用程序访问实时数据变更，从而避免事先手动追踪 oplog 的复杂性和风险。应用程序可使用变更流来订阅针对单个集合、数据库或整个部署的所有数据变更，并立即对它们做出响应。由于变更流采用聚合框架，因此，应用程序还可对特定变更进行过滤，或是随意转换通知。(Change Streams - MongoDB Manual v5.0)
使用场景,需要websocket推送实时数据的时候，我们把数据写入mongo的同时,websocket实时监听mongo数据，拿到后推送到订阅组用户。
这里只做一端新增另一端服务监听测试，及windows下副本集快速搭建流程。
sub端代码
package main import (
"context"
"fmt"
"go.mongodb.org/mongo-driver/bson"
"go.mongodb.org/mongo-driver/mongo"
"go.mongodb.org/mongo-driver/mongo/options"
"log"
) func main() {
// 设置 MongoDB 客户端mongo单机模式不支持这种监听 单机报错 2024/08/10 11:18:54 (Location40573) The $changeStream stage is only supported on replica sets
clientOptions := options.Client().ApplyURI("mongodb://localhost:27017")
client, err := mongo.Connect(context.TODO(), clientOptions)
if err != nil {
log.Fatal(err)
}
defer client.Disconnect(context.TODO()) // 获取数据库和集合
collection := client.Database("testdb").Collection("items") // 设置 Change Stream
pipeline := mongo.Pipeline{}
changeStreamOptions := options.ChangeStream().SetFullDocument(options.UpdateLookup)
changeStream, err := collection.Watch(context.TODO(), pipeline, changeStreamOptions)
if err != nil {
log.Fatal(err)
}
defer changeStream.Close(context.TODO()) fmt.Println("开始监听 Change Stream...") // 读取 Change Stream
for changeStream.Next(context.TODO()) {
var changeEvent bson.M
if err := changeStream.Decode(&changeEvent); err != nil {
log.Fatal(err)
} fmt.Printf("检测到更改: %+v\n", changeEvent)
} if err := changeStream.Err(); err != nil {
log.Fatal(err)
}
}
pub端代码
package main import (
"context"
"fmt"
"time" "go.mongodb.org/mongo-driver/bson"
"go.mongodb.org/mongo-driver/mongo"
"go.mongodb.org/mongo-driver/mongo/options"
) func main() {
// 设置 MongoDB 客户端
clientOptions := options.Client().ApplyURI("mongodb://localhost:27017")
client, err := mongo.Connect(context.TODO(), clientOptions)
if err != nil {
fmt.Println("连接 MongoDB 失败:", err)
return
}
defer client.Disconnect(context.TODO()) // 获取数据库和集合
collection := client.Database("testdb").Collection("items") // 插入数据
for i := 1; i <= 5; i++ {
item := bson.D{{"name", fmt.Sprintf("item%d", i)}, {"value", i}}
_, err := collection.InsertOne(context.TODO(), item)
if err != nil {
fmt.Println("插入数据失败:", err)
return
}
//fmt.Printf("插入数据: %+v\n", item)
fmt.Printf("插入数据第 %d 条", i)
time.Sleep(2 * time.Second) // 模拟一些延迟
}
}
执行结果 pub端
执行结果 sub端
数据库不用新建集合，自动生成很方便
下面是windows下安装副本集步骤一字不拉
https://www.mongodb.com/try/download/community 下载zip包解压 bin目录同级创建data-data4(data内部需要创建好db目录）,log-log4
MongoDB shell version v5.0.28
注意 data目录下没有db文件夹net start MongoDB执行服务起不来 192.168.2.6 本机ip
mongod.exe --config "E:\mongodb\mongod.conf" --serviceName "MongoDB" --serviceDisplayName "MongoDB" --install mongod.exe --config "E:\mongodb\mongod1.conf" --serviceName "MongoDB1" --serviceDisplayName "MongoDB1" --install mongod.exe --config "E:\mongodb\mongod2.conf" --serviceName "MongoDB2" --serviceDisplayName "MongoDB2" --install mongod.exe --config "E:\mongodb\mongod3.conf" --serviceName "MongoDB3" --serviceDisplayName "MongoDB3" --install net start MongoDB
net start MongoDB1
net start MongoDB2
net start MongoDB3 bin目录下打开cmd执行mongo.exe rs_conf={_id:"rs",
members:[
{_id:0,host:"192.168.2.6:27017",priority:1},
{_id:1,host:"192.168.2.6:27018",priority:2},
{_id:2,host:"192.168.2.6:27019",priority:3},
{_id:4,host:"192.168.2.6:27020", arbiterOnly:true}
]} 返回这个代表成功:
{
"_id" : "rs",
"members" : [
{
"_id" : 0,
"host" : "192.168.2.6:27017",
"priority" : 1
},
{
"_id" : 1,
"host" : "192.168.2.6:27018",
"priority" : 2
},
{
"_id" : 2,
"host" : "192.168.2.6:27019",
"priority" : 3
},
{
"_id" : 4,
"host" : "192.168.2.6:27020",
"arbiterOnly" : true
}
]
} rs.initiate(rs_conf) 执行配置
{"ok":1}
rs.status() 查看状态
{
"set" : "rs",
"date" : ISODate("2024-08-10T02:40:20.391Z"),
"myState" : 2,
"term" : NumberLong(2),
"syncSourceHost" : "192.168.2.6:27019",
"syncSourceId" : 2,
"heartbeatIntervalMillis" : NumberLong(2000),
"majorityVoteCount" : 3,
"writeMajorityCount" : 3,
"votingMembersCount" : 4,
"writableVotingMembersCount" : 3,
"optimes" : {
"lastCommittedOpTime" : {
"ts" : Timestamp(1723257616, 1),
"t" : NumberLong(2)
},
"lastCommittedWallTime" : ISODate("2024-08-10T02:40:16.003Z"),
"readConcernMajorityOpTime" : {
"ts" : Timestamp(1723257616, 1),
"t" : NumberLong(2)
},
"appliedOpTime" : {
"ts" : Timestamp(1723257616, 1),
"t" : NumberLong(2)
},
"durableOpTime" : {
"ts" : Timestamp(1723257616, 1),
"t" : NumberLong(2)
},
"lastAppliedWallTime" : ISODate("2024-08-10T02:40:16.003Z"),
"lastDurableWallTime" : ISODate("2024-08-10T02:40:16.003Z")
},
"lastStableRecoveryTimestamp" : Timestamp(1723257586, 1),
"electionParticipantMetrics" : {
"votedForCandidate" : true,
"electionTerm" : NumberLong(2),
"lastVoteDate" : ISODate("2024-08-10T02:39:15.909Z"),
"electionCandidateMemberId" : 2,
"voteReason" : "",
"lastAppliedOpTimeAtElection" : {
"ts" : Timestamp(1723257547, 5),
"t" : NumberLong(1)
},
"maxAppliedOpTimeInSet" : {
"ts" : Timestamp(1723257547, 5),
"t" : NumberLong(1)
},
"priorityAtElection" : 1,
"newTermStartDate" : ISODate("2024-08-10T02:39:15.997Z"),
"newTermAppliedDate" : ISODate("2024-08-10T02:39:16.928Z")
},
"members" : [
{
"_id" : 0,
"name" : "192.168.2.6:27017",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
"uptime" : 2677,
"optime" : {
"ts" : Timestamp(1723257616, 1),
"t" : NumberLong(2)
},
"optimeDate" : ISODate("2024-08-10T02:40:16Z"),
"lastAppliedWallTime" : ISODate("2024-08-10T02:40:16.003Z"),
"lastDurableWallTime" : ISODate("2024-08-10T02:40:16.003Z"),
"syncSourceHost" : "192.168.2.6:27019",
"syncSourceId" : 2,
"infoMessage" : "",
"configVersion" : 1,
"configTerm" : 2,
"self" : true,
"lastHeartbeatMessage" : ""
},
{
"_id" : 1,
"name" : "192.168.2.6:27018",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
"uptime" : 85,
"optime" : {
"ts" : Timestamp(1723257616, 1),
"t" : NumberLong(2)
},
"optimeDurable" : {
"ts" : Timestamp(1723257616, 1),
"t" : NumberLong(2)
},
"optimeDate" : ISODate("2024-08-10T02:40:16Z"),
"optimeDurableDate" : ISODate("2024-08-10T02:40:16Z"),
"lastAppliedWallTime" : ISODate("2024-08-10T02:40:16.003Z"),
"lastDurableWallTime" : ISODate("2024-08-10T02:40:16.003Z"),
"lastHeartbeat" : ISODate("2024-08-10T02:40:19.059Z"),
"lastHeartbeatRecv" : ISODate("2024-08-10T02:40:20.083Z"),
"pingMs" : NumberLong(0),
"lastHeartbeatMessage" : "",
"syncSourceHost" : "192.168.2.6:27017",
"syncSourceId" : 0,
"infoMessage" : "",
"configVersion" : 1,
"configTerm" : 2
},
{
"_id" : 2,
"name" : "192.168.2.6:27019",
"health" : 1,
"state" : 1,
"stateStr" : "PRIMARY",
"uptime" : 85,
"optime" : {
"ts" : Timestamp(1723257616, 1),
"t" : NumberLong(2)
},
"optimeDurable" : {
"ts" : Timestamp(1723257616, 1),
"t" : NumberLong(2)
},
"optimeDate" : ISODate("2024-08-10T02:40:16Z"),
"optimeDurableDate" : ISODate("2024-08-10T02:40:16Z"),
"lastAppliedWallTime" : ISODate("2024-08-10T02:40:16.003Z"),
"lastDurableWallTime" : ISODate("2024-08-10T02:40:16.003Z"),
"lastHeartbeat" : ISODate("2024-08-10T02:40:19.060Z"),
"lastHeartbeatRecv" : ISODate("2024-08-10T02:40:20.022Z"),
"pingMs" : NumberLong(0),
"lastHeartbeatMessage" : "",
"syncSourceHost" : "",
"syncSourceId" : -1,
"infoMessage" : "",
"electionTime" : Timestamp(1723257555, 1),
"electionDate" : ISODate("2024-08-10T02:39:15Z"),
"configVersion" : 1,
"configTerm" : 2
},
{
"_id" : 4,
"name" : "192.168.2.6:27020",
"health" : 1,
"state" : 7,
"stateStr" : "ARBITER",
"uptime" : 85,
"lastHeartbeat" : ISODate("2024-08-10T02:40:19.059Z"),
"lastHeartbeatRecv" : ISODate("2024-08-10T02:40:20.092Z"),
"pingMs" : NumberLong(0),
"lastHeartbeatMessage" : "",
"syncSourceHost" : "",
"syncSourceId" : -1,
"infoMessage" : "",
"configVersion" : 1,
"configTerm" : 2
}
],
"ok" : 1,
"$clusterTime" : {
"clusterTime" : Timestamp(1723257616, 1),
"signature" : {
"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
"keyId" : NumberLong(0)
}
},
"operationTime" : Timestamp(1723257616, 1)
}
demo代码链接
go/mongochangestreamsdemo/demo at main · liuzhixin405/go (github.com)
mongo配置链接
config/mongo windows集群 at main · liuzhixin405/config (github.com)
mongo变更流使用及windows下副本集五分钟搭建的更多相关文章
- 《sed的流艺术之四》-linux命令五分钟系列之二十四
本原创文章属于<Linux大棚>博客,博客地址为http://roclinux.cn.文章作者为rocrocket. 为了防止某些网站的恶性转载,特在每篇文章前加入此信息,还望读者体谅. ...
- 《sed的流艺术之三》-linux命令五分钟系列之二十三
本原创文章属于<Linux大棚>博客,博客地址为http://roclinux.cn.文章作者为rocrocket. 为了防止某些网站的恶性转载,特在每篇文章前加入此信息,还望读者体谅. ...
- 《sed的流艺术之一》-linux命令五分钟系列之二十一
本原创文章属于<Linux大棚>博客,博客地址为http://roclinux.cn.文章作者为rocrocket. 为了防止某些网站的恶性转载,特在每篇文章前加入此信息,还望读者体谅. ...
- zookeeper windows伪集群搭建
1.下载zookeeper http://mirror.bit.edu.cn/apache/zookeeper/ 解压后,目录重命名为zookeeper1,进入 conf目录,把zoo_sample. ...
- 《sed的流艺术之二》-linux命令五分钟系列之二十二
本原创文章属于<Linux大棚>博客,博客地址为http://roclinux.cn.文章作者为rocrocket. 为了防止某些网站的恶性转载,特在每篇文章前加入此信息,还望读者体谅. ...
- MongoDB 变更流（Change Stream）介绍
1. 什么是Change Stream Change Stream 是MongoDB用于实现变更追踪的解决方案,类似于关系数据库的触发器,但原理不完全相同: | | Change Stream | 触 ...
- 在Windows Server 2012 R2中搭建SQL Server 2012故障转移集群
需要说明的是我们搭建的SQL Server故障转移集群(SQL Server Failover Cluster)是可用性集群,而不是负载均衡集群,其目的是为了保证服务的连续性和可用性,而不是为了提高服 ...
- windows+mysql集群搭建-三分钟搞定集群
注:本文来源: 陈晓婵 < windows+mysql集群搭建-三分钟搞定集群 > 一:mysql集群搭建教程-基础篇 计算机一级考试系统要用集群,目标是把集群搭建起来,保证一 ...
- Kettle在windows下分布式集群的搭建
集群的搭建 我这里用的是kettle7.1版本的 下载解压 我们打开kettle的安装目录,进入到data-integration->pwd目录,找到carte-config-master-80 ...
- Solr集群的搭建以及使用(内涵zookeeper集群的搭建指南)
1 什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud.当一个系统的索引数据量少的时候 ...
随机推荐
- java rabbitmq模拟生产者，消费者demo
1.exchange类型,rabbitmq交换机类型 exchange类型fanout 扇形交换机,它会把所有发送到该交换机的消息路由到所有与该交换机绑定的队列中.direct 直连交换机,它会把消息 ...
- CUDA程序优化-1.基础介绍
简介 本合集主要介绍我在开发分布式异构训练框架时的CUDA编程实践和性能优化的相关内容.主要包含以下几个部分: 介绍CUDA的基本概念和架构,帮助读者建立对CUDA的初步认识,包括硬件架构/CUDA基 ...
- 掌握 Nuxt 3 中的状态管理：实践指南
title: 掌握 Nuxt 3 中的状态管理:实践指南 date: 2024/6/22 updated: 2024/6/22 author: cmdragon excerpt: 摘要:该文指南详述了 ...
- 实验13.Nat转发telnet实验
# 实验13.Nat转发telnet实验 本节用于测试NAT服务,用于将流量转发到内网的指定设备上. 实验组 配置路由器 由于之前配置过ospf,所以这次用直接指静态练手,首先确保全网畅通 R3 GW ...
- Python加密操作 对称加密/非对称加密
安装包: pycryptodome https://pycryptodome.readthedocs.io/en/latest/src/installation.html#compiling-in-l ...
- 一文带你深入理解SpringMVC的执行原理
今天大致来看一下Spring MVC的执行流程是什么样的 执行流程:也就是一个请求是怎么到我们Controller的,返回值是怎么给客户端的 本文分析的问题: 文件上传的请求是怎么处理的 跨域是怎么处 ...
- 超快的 Python 包管理工具「GitHub 热点速览」
天下武功,无坚不破,唯快不破! 要想赢得程序员的欢心,工具的速度至关重要.仅需这一优势,即可使其在众多竞争对手中脱颖而出,迅速赢得开发者的偏爱.以这款号称下一代极速 Python 包管理工具--uv ...
- 从零开始带你上手体验Sermant自定义插件开发
本文分享自华为云社区<Sermant自定义插件开发上手体验>,作者:华为云开源. 一.研究缘由 由于目前我们所处的行业是汽车行业,项目上进行云服务的迁移时使用到了Sermant中的相关插件 ...
- 重复消费Java Stream的三种方法。你选择哪种？
Java中的Stream一旦被消费就会关闭,不能再次使用了.如果的确有需要该怎么办呢? 这里介绍三种重复消费Stream的方法. 1. 从集合再次创建 这里你都不用往下继续看就知道该怎么办,不过我还是 ...
- Python pip 切换为国内镜像源
参考文章:https://codeplayer.vip/p/j7tmc [windows] 备份记录指令:(永久全局设置pypi国内镜像源地址) 1 pip config --global set g ...