Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本号的基础上,改动了大量bug,加入了非常多功能特性。眼下该项目在360公司内部得到了广泛应用,非常多MySQL业务已经接入了Atlas平台。每天承载的读写请求数达几十亿条。

同一时候,有超过50家公司在生产环境中部署了Atlas,超过800人已加入了我们的开发人员交流群,而且这些数字还在不断添加。

Atlas名字的由来:

Atlas:希腊神话中双肩撑天的巨人,普罗米修斯的兄弟,最高大强壮的神之中的一个。因反抗宙斯失败而被罚顶天。奇虎360期望这个系统可以脚踏后端DB,为前端应用撑起一片天。

Why Atlas?

mysql-proxy是官方提供的mysql中间件产品能够实现负载平衡,读写分离。failover等。但其不支持大数据量的分库分表且性能较差。

Atlas相对于官方MySQL-Proxy的优势

1.将主流程中全部Lua代码用C重写,Lua仅用于管理接口

2.重写网络模型、线程模型

3.实现了真正意义上的连接池

4.优化了锁机制,性能提高数十倍

Atlas架构设计:

Atlas是一个位于应用程序与MySQL之间中间件。在后端DB看来,Atlas相当于连接它的client,在前端应用看来。Atlas相当于一个DB。Atlas作为服务端与应用程序通讯,它实现了MySQL的client和服务端协议,同一时候作为client与MySQL通讯。

它相应用程序屏蔽了DB的细节,同一时候为了减少MySQL负担,它还维护了连接池。

Atlas功能特点及常见问题:

1.Atlas是否支持多字符集?

对多字符集的支持是我们对原版MySQL-Proxy的第一项改进,符合国情是必须的。

而且支持client在连接时指定默认字符集。

2.Atlas是否支持事务操作?

支持,且处于事务状态的client中途退出时,Atlas会销毁该client使用的连接。让后台的mysql回滚事务,保证了事务的完整性。

3.自己主动读写分离挺好。但有时候我写完立即就想读,万一主从同步延迟怎么办?

SQL语句前添加 /*master*/ 就能够将读请求强制发往主库。在mysql命令行測试该功能时。须要加-c选项。以防mysqlclient过滤掉凝视信息。

4.主库宕机,读操作受影响么?

在Atlas中读操作不受影响,Atlas会将读请求转发到其它还存活的从库上。

但此时写请求将会失败,由于主库宕机了。

5.检測后端DB状态会堵塞正常请求么?

不会, atlas中检測线程是异步进行检測的,即使有db宕机,也不会堵塞主流程。在Atlas中没有什么异常会让主流程堵塞。

6.想下线一台DB, 又不想停掉mysql server, 怎么办?

能够通过管理接口手动上下线后端db, Atlas会优先考虑管理员的意愿。

7.想给集群中添加一台DB, 不想影响线上正常訪问能够吗?

通过管理接口能够轻松实现。

8.相比官方mysql-proxy, Atlas还有哪些改进?

A: 这实在是个难以回答的问题。性能。稳定性,可靠性。易维护性,我们做过几十项的改进,以下会尽量列一些较大的修改

9.Atlas支持mysql的prepare特性吗?

眼下Atlas部分支持prepare功能,支持java,python,PHP(PDO方式)。

10.Altas支持多个主库的执行模式吗?

眼下还未对于Atlas后面挂接多个主库的情形进行測试过,不建议这样使用。建议使用一主一从或一主多从的模式。

11.在使用Atlas的过程中。发现了Atlas存在的bug或者对Atlas有新的功能需求,怎样反馈给开发人员?

对于用户反馈的bug。我们很重视。

欢迎用户将bug的复现的环境、步骤和执行截图发邮件至zhuchao[AT]360.cn。同一时候假设用户在实际的应用场景中,对Atlas有新的功能需求。也能够向我们发邮件。我们将及时回复。另外有热心网友建了QQ群326544838,开发人员也已经增加,方便讨论。

12.java程序连接Atlas出现乱码问题

把jdbc连接中的amp;删除掉,比如:将

jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true

改动为:

jdbc:mysql://10.10.10.37:3306/user_db?

useUnicode=true&characterEncoding=utf-8&autoReconnect=true

13.监控主从同步之间的延迟?

Atlas不负责MySQL的主从同步操作。须要DBA自己管理。

14.java程序连接Atlas发现不能读写分离,全部的请求都发向主库。这是为什么?

检查一下java框架。是不是默认将autocommit设置为0了,非常多java框架将语句都封装在一个事务中。而Atlas会将事务请求都发向主库。

15.Atlas有sql语句黑名单过滤机制吗?

有的。Atlas会屏蔽不带where条件的delete和update操作。以及sleep函数。

数据切分——Atlas介绍的更多相关文章

  1. 数据切分——Atlas读写分离Mysql集群的搭建

    关于数据切分的原理可以参见博客: http://blog.csdn.net/jhq0113/article/details/44226789 关于Atlas的介绍可以参见博客: http://blog ...

  2. MySQL数据切分的相关概念和原理详解

    对于数据切分,我们可能还不是很熟悉,但是它对于MySQL数据库来说也是相当重要的一门技术,本文我们就详细介绍一下MySQL数据库的数据切分的相关知识,接下来就让我们一起来了解一下这部分内容. 什么是数 ...

  3. MySql(十四):MySql架构设计——可扩展性设计之数据切分

    一.前言 通过 MySQL Replication 功能所实现的扩展总是会受到数据库大小的限制,一旦数据库过于庞大,尤其是当写入过于频繁,很难由一台主机支撑的时候,我们还是会面临到扩展瓶颈.这时候,我 ...

  4. MySQL性能调优与架构设计——第 14 章 可扩展性设计之数据切分

    第 14 章 可扩展性设计之数据切分 前言 通过 MySQL Replication 功能所实现的扩展总是会受到数据库大小的限制,一旦数据库过于庞大,尤其是当写入过于频繁,很难由一台主机支撑的时候,我 ...

  5. 数据库性能提升利器—Mycat数据切分

    一.前言      数据库是每个系统都不可缺少的东西,里面记录了系统各种数据资料.但是如今的数据膨胀的时代,数据库性能不能满足我们的需要了.所以我们要对数据库进行强化,就用到了Mycat. 二.何为数 ...

  6. 数据搬运工DSS~介绍

    DSS介绍 DSS是为了实现异地数据同步而开发的一套.net平台的应用程序,它寄宿到windows服务上,由多个客户端和一个服务端组成,其中客户端用来收集数据(数据源端),服务端用来将数据写入指定数据 ...

  7. 25 Zabbix系统数据表结构介绍

    点击返回:自学Zabbix之路 点击返回:自学Zabbix4.0之路 点击返回:自学zabbix集锦 25 Zabbix系统数据表结构介绍 自学Zabbix之路15.1 Zabbix数据库表结构简单解 ...

  8. train_test_split数据切分

    train_test_split 数据切分 格式: X_train,X_test, y_train, y_test =cross_validation.train_test_split(train_d ...

  9. Hive四种数据导入方式介绍

    问题导读 1.从本地文件系统中通过什么命令可导入数据到Hive表? 2.什么是动态分区插入? 3.该如何实现动态分区插入? 扩展: 这里可以和Hive中的三种不同的数据导出方式介绍进行对比? Hive ...

随机推荐

  1. pycharm永久激活(转载)

    转载自CSDN--http://blog.csdn.net/mr_hhh/article/details/79062747 2018-02-2417:30:52 今天再补充一个教程,关于pycharm ...

  2. miller_rabin_素性测试

    摘自:http://blog.csdn.net/pi9nc/article/details/27209455 看了好久没看懂,最后在这篇博客中看明白了. 费马定理的应用,加上二次探测定理. Ferma ...

  3. JavaScipt30(第七个案例)(主要知识点:数组some,every,findIndex方法)

    承接上文,这是第7个案例,这个案例没什么说的,主要有三个注意点: 附上项目链接: https://github.com/wesbos/JavaScript30 // 1. slice(begin, e ...

  4. PMP 学习心得

    前两天刚考完 PMP,松了一口气,终于考完了,虽然心里有点慌,不知道自己会不会过.学习 PMP 这三个月还是很充实的.不断的看视频,做题目,功夫不负有心人,也算是学到了一些东西.至少知道了一个项目的启 ...

  5. 话说Form标签的target属性-----无刷新表单提交

    国庆前(2013)无聊,就在铁道部的12306上“逛”了下下. PS:原来之所以叫12306,是因为其客服号码是12306,好吧,我很无知…… 首先是被“逛”的页面:票价查询. 之所以去逛,是因为一直 ...

  6. IOS上MediaPlayer framework实现视频播放

    播放电影文件: iOS sdk中可以使用MPMoviePlayerController来播放电影文件.但是在iOS设备上播放电影文件有严格的格式要求,只能播放下面两个格式的电影文件. • H.264 ...

  7. 树状数组 & lowbit()

    看了很多大佬的博客,每看一篇博客懂一部分,总算是大概理解了树状数组这个神奇又强大的东西: 在这里我做个整合,把我认为好的部分摘录下来: 参考博客1:https://blog.csdn.net/flus ...

  8. FileReader实现读取文件内容并输出到屏幕上

    FileReader与FileInputStream都是从文件读数据,而前者一次读一个字符,后者一次读一个字节(在Unicode编码环境下1个字符=2个字节) package com.janson.d ...

  9. java导出word的6种方式(转发)

    来自: http://www.cnblogs.com/lcngu/p/5247179.html 最近做的项目,需要将一些信息导出到word中.在网上找了好多解决方案,现在将这几天的总结分享一下. 目前 ...

  10. 入门系列(一) 微信小程序简介

    一.简介 1.目录结构 首先,我们使用微信公众平台提供的开发者工具,创建一个简单的小程序项目,观察项目的目录结构 不难看出,一个典型的微信小程序,通常包含一个描述整体的主体部分,以及一个描述页面的 p ...