巨杉数据库 and mongo db ,分布式数据库,…

一.关于NoSQL的项目需求 这些年在做AgileEAS.NET SOA 中间件平台的推广.技术咨询服务过程之中,特别是针对我们最熟悉的医疗行业应用之中,针对大数据分析,大并发性能的需求,我们也在慢慢的引用NoSQL技术来满足数据分析与性能等多方面的需要,也进一步完善我们的SOA基石架构风格: 在早些年,对NoSQL不是很了解这前,后端数据存储都是存储的单一的关系数据库之上,但是在很多时间,这并不是最优的,比如在医疗用户之中针对一个病人的相关数据展示,及相关性分析,关于数据库就不是最优的,另外一…

一.前言 巨杉数据库(SequoiaDB)是国内第一款新一代文档型分布式数据库,巨杉数据库由巨杉软件完全自主研发,拥有完全自主知识产权,不基于任何其它的开源项目.SequoiaDB数据库是为分布式存储.并行计算模型.云计算资源条件下搭建和运行应用程序而设计的. 作为一款操作性数据库,巨杉数据库在海量数据实时读写场景具有得天独厚的优势,拥有较高的读写性能. 为便于跟其他同类数据库进行比较,在本篇文章中,我们介绍一个专门用于对NoSQL数据库产品进行性能测试的工具--YCSB. 二.YCSB介绍 Y…

随着公司日益复杂与多变的需求,以及迅速扩展带来的海量数据业务,我们需要在提供高效服务的同时,降低其设备与程序维护成本.算了,不吹了,说白了就是需要从巨杉数据库中抓取大量的数据,但是我现在不会,所以需要好好学习一下.顺便在此做个笔记,以备不时之需. 这里,我从了解巨杉数据库的基础,历史,性能,部署等方面开始学习. 据在网上粗略的了解,BAT等巨头内部基本都有自己的NoSQL项目,有的是基于开源项目自行研发,有的是依托MongoDB等NoSQL为基础搭建数据分析平台.而近些年迅速成长的各类公有云服务…

背景 在传统银行 IT 架构中,联机交易与统计分析系统往往采用不同的技术与物理设备,通过定期执行的 ETL 将联机交易数据向分析系统中迁移.而作为数据服务资源池,同一份数据可能被不同类型的微服务共享访问.当一些联机交易与审计类业务针对同一份数据同时运行时,必须保证请求在完全隔离的物理环境中执行,做到交易分析业务无干扰. HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,善于处理大数据场景,具备以下特点: 表规模大,亿级别行,上百万列     面向列存储,列独立检索 但是 HBa…

01 引言 随着用户的增长.业务的发展,大型企业用户的业务系统的数据量越来越大,超大数据表的性能问题成为阻碍业务功能实现的一大障碍.其中,流水表作为最常见的一类超大表,是企业级用户经常碰到的性能瓶颈. 本文就以流水类的超大表,探讨基于SequoiaDB巨杉数据库存储的超大表进行的性能调优.SequoiaDB 巨杉数据库,作为新一代 OLTP 的分布式数据库,被广泛使用于海量数据存储与高并发操作场景中.对于海量数据的存储和高并发操作,分布式数据库相较于传统数据库有着天然的优势,合理利用Sequoi…

1.背景 SequoiaDB 巨杉数据库是一款金融级分布式数据库,包括了分布式 NewSQL.分布式文件系统与对象存储.与高性能 NoSQL 三种存储模式,分别对应分布式在线交易.非结构化数据和内容管理.以及海量数据管理和高性能访问场景. 集群一般会使用三副本方式以确保数据安全.假若集群发生因硬件故障等原因导致的节点故障或集群异常,数据库管理员应进行系统的分析和诊断,以确保集群正常工作,不会影响用户的正常使用.本文将与大家分享一下基本的 SequoiaDB 数据库诊断方法. 2. 数据库集群诊断…

SequoiaDB 巨杉数据库是一款金融级分布式关系型数据库,坚持从零开始打造分布式开源数据库引擎.“内核笔记系列”旨在分享交流 SequoiaDB 巨杉数据库引擎的设计思路和代码解析,帮助社区用户深入理解 SequoiaDB 的实现原理,共建开源开放的数据库技术生态.01 基本概念 会话与连接是两个容易混淆的概念.会话(Session) 指是通信双方从开始通信到通信结束期间的一个上下文(Context).这个上下文是一段位于服务器端的内存,记录了本次连接的客户端机器,通过哪个应用程序和哪个用户…

自从2008年“大数据”这一概念被首次提出以来,在过去这10年中,几乎各行各业都或多或少受到了这一概念的影响.与此同时,在AI.云计算.物联网.区块链等新兴技术快速发展的今天,数据库己经成为了决定所有应用能否成功运行的核心.但随着业务规模的不断扩大,各式各样的数据正呈现指数级增长,传统数据处理系统已不堪重负,数据库性能问题成为了系统稳定运行的主要瓶颈. 那么,如何有效解决海量数据引发的数据库压力问题?如何在海量的数据中提取具有高价值的部分?如何解决多类型数据对数据处理能力的高要求?如何能使后台数…

在All in Cloud的云计算时代,业务和应用正在不断“云化”,在此过程中云原生(Cloud Native)理念应运而生.作为云化改造的重要部分,云数据库因其天生的弹性扩展能力以及灵活.易用等特点,让其在面对爆炸性增长的数据量和愈加繁复的数据类型时表现的更加游刃有余. 面对业务及应用的“云原生化”,数据库技术究竟面临了怎样的挑战及发展趋势?为此巨杉科技特别举办了“云时代的数据库架构设计与演进”深圳站活动,邀请多位数据库领域专家带来精彩纷呈的技术干货.分享实实在在的应用实践经验,让现场数百位开…