作者:田寄远 JCQ 全名 JD Cloud Message Queue,是京东云自研.具有 CloudNative 特性的分布式消息中间件. JCQ 设计初衷即为适应云特性的消息中间件:具有高可用.数据可靠性.副本物理隔离.服务自治.健康状态汇报.少运维或无运维.容器部署.弹性伸缩.租户隔离.按量付费.云账户体系.授权等特性. 演进过程 2017 年中开始开发 JCQ 1.0 版本,2018 年 11 月正式 GA 上线对外售卖,1.0 版本中 Topic 受限于单台服务器限制,满足不了用户超…

随着交流机会的增多(集中在金融行业,规模都在各自领域数一数二),发现大家对 Docker + Kubernetes 的接受程度超乎想象, 并极有兴趣将这套架构应用到 RDS 领域.数据库服务的需求可以简化为:实现数据零丢失的前提下,提供可接受的服务能力.因此存储架构的选型至关重要.到底是选择计算存储分离还是本地存储?本文就这个问题,从以下几点展开: 回顾:计算存储分离, 本地存储优缺点 MySQL 基于本地存储实现数据零丢失 性能对比 基于 Docker + Kubernetes 的实现 来分享…

摘要:IDC认为,目前阶段来看,企业亟待解决的是数字化能力提升,包括:与业务的深入结合能力:数据处理和挖掘能力:以及IT技术运营和管理能力.特别是数据处理和挖掘能力,因为数字化转型推进企业从以流程为核心向以数据为核心转型,对海量.异构.多类型的数据处理和挖掘能力是释放数据价值的前提,对数据全生命周期的管控治理是释放数据价值的保障.可以看出,数据库作为数据的承载,企业的要求不再只是简单的存储功能了. GaussDB(for Mongo)是华为云自主研发兼容MongoDB4.0接口的文档数据库.基于…

作者 吕亚霖,2019年加入作业帮,作业帮基础架构-架构研发团队负责人,在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO微服务框架.DevOps的落地实践. 张浩然,2019年加入作业帮,作业帮基础架构-高级架构师,在作业帮期间,推动了作业帮云原生架构演进.负责多云k8s集群建设.k8s组件研发.linux内核优化调优.底层服务容器化相关工作. 背景 大规模检索系统一直都是各个公司平台业务的底层基石,往往是以千台裸金属服务器级别的超大规模集群的方式运行,数据量巨大,对于性能.…

今天去中关村软件园面试,被问到:你做项目用到的Redis处理数据用的什么结构?顿时石化,”用到的结构,不就是key-value嘛,还有什么结构?“.面试官说:“平时除了工作,要加强学习,下面的面试我觉得没有了.”,之后...... 后来一想,面试官说的结构是不是指数据类型?他管数据类型叫结构,看来文字游戏害死人啊. 一.Redis和Memcache区别 我们先来看一下redis的一个定义,来自官方的: 1 Redis is an open source, BSD licensed, advanc…

1 引言 Redis作为基于内存的非关系型的K-V数据库.因读写响应快速.原子操作.提供了多种数据类型String.List.Hash.Set.Sorted Set.在项目中有着广泛的使用,今天我们来探讨下下Redis的数据结构是如何实现的. 2 数据存储 2.1 RedisDB Redis将数据存储在redisDb中,默认0~15共16个db.每个库都是独立的空间,不必担心key冲突问题,可通过select命令切换db.集群模式使用db0 typedef struct redisDb { di…

Redis与KV存储(RocksDB)融合之编码方式 简介 Redis 是目前 NoSQL 领域的当红炸子鸡,它象一把瑞士军刀,小巧.锋利.实用,特别适合解决一些使用传统关系数据库难以解决的问题.Redis 作为内存数据库,所有的数据全部都存在内存中,特别适合处理少量的热数据.当有巨量数据超过内存大小需要落盘保存时,就需要使用 Redis + KV存储的方案了. 本文涉及的Ardb就是一个完全兼容Redis协议的NoSQL的存储服务.其存储基于现有成熟的KV存储引擎实现,理论上任何类似B-Tre…

php默认使用文件存储session,如果并发量大,效率非常低.而Redis对高并发的支持非常好,所以,可以使用redis替代文件存储session. 这里,介绍下php的 session_set_save_handler 函数的作用和使用方法.该函数定义用户级session保存函数(如打开.关闭.写入等).原型如下: bool session_set_save_hanler(callback open,callback close,callback read,callback write,ca…

https://github.com/uliian/SessionExtentionStore 一个基于Redis的Session存储扩展方案,解决ASP.NET中Session的局限性和跨应用程序使用的局限性 9 commits 1 branch 0 releases 1 contributor C# 99.3% ASP 0.7% C#ASP  branch: master  SessionExtentionStore/ Merge branch 'master' of https://git…

Redis入门 – Jedis存储Java对象 - (Java序列化为byte数组方式) 原文地址:http://alanland.iteye.com/admin/blogs/1600685(欢迎转载 - 转载请保留该原文链接) 07/19/12 03:08:05 PM 在Jedis开发中,我们很多时候希望直接把一个对象放到Redis中,然后在需要的时候取出来.Redis的key和value都支持二进制安全的字符串,存储Java对象不是问题,下面我们看一下如何来实现. 1要存储的对象 现在写一个…