小米soar
SOAR 简介
SOAR,即 SQL Optimizer And Rewriter,是一款 SQL 智能优化与改写工具,由小米运维 DBA 团队出品
SOAR 体系架构
SOAR主要由语法解析器,集成环境,优化建议,重写逻辑,工具集五大模块组成。
语法解析和语法检查
一条SQL从文件,标准输入或命令行参数等形式传递给SOAR后首先进入语法解析器,选用了vitess的语法解析库作为SOAR的语法解析库,但随时需求的不断增加我们发现有些复杂需求使用vitess的语法解析实现起来比较逻辑比较复杂。于是参考业办其他数据库产品,于是引入了TiDB的语法解析器做为补充。后来发现这两个解析库还存在一定的盲区,于是又引入了MySQL执行返回结果作为多多版本SQL方言的补充。大家也可以看到在语法解析器这里,SOAR的实现方案是松散的、可插拔的。SOAR并不直接维护庞大的语法解析库,它把各种优秀的语法解析库集成在一起,各取所长。
集成环境
集成环境区分线上环境和测试环境两种,分别用于解决不同场景下用户的SQL优化需求。一种常见的情况是已有表结构需要优化查询SQL的场景,可以从线上环境导出表结构和足够的采样数据到测试环境,在测试环境上就可以放心的执行各种高危操作而不用担心数据被损坏。另一种常见的情况是建一套全新的数据库,需要验证提供的数据字典中是否存在优化的可能。对于这种情况,很有可能你不需要知道线上环境在哪儿,完全只是想先试试看,如果报错了马上改对就是了。当然还有更多种组合的场景需求,将在集成环境一单分类说明。
优化建议
目前SOAR可以提供的优化建议有基于启发式规则(通常也称之为经验)的优化建议,基于索引优化算法给出的索引优化建议,以及基于EXPLAIN信息给出的解读。
重写逻辑
上面提到的优化建议是早期实现的主要功能,早期的功能还只是停留在建议上,对于一些初级用户看到建议也不一定会改写。为了进一步简化SQL优化的成本,SOAR又进一步挖掘了自动SQL重写的功能。现在提供几十种常见场景下的SQL等价转写,不过相比SQL优化建议还有很大的改进空间。这部分的功能和逻辑将在重写逻辑一章中详细说明。
工具集
除了SQL优化和改写以外,为了方便用户使用以及美化输出展现形式,SOAR还提供了一些辅助的小工具,比如markdown转HTML工具,SQL格式化输出工具等等。你可以在常用命令中找到这些小工具的使用方法。
SOAR 功能特点
SOAR的功能特点如下:
● 跨平台支持(支持Linux, Mac环境,Windows环境理论上也支持,不过未全面测试)
● 支持基于启发式算法的语句优化
● 支持复杂查询的多列索引优化(UPDATE, INSERT, DELETE, SELECT)
● 支持EXPLAIN信息丰富解读
● 支持SQL指纹、压缩和美化
● 支持同一张表多条ALTER请求合并
● 支持自定义规则的SQL改写
此外,小米的SOAR与业内其他优秀产品对比,也有着非常大的优势:
二进制安装
wget https://github.com/XiaoMi/soar/releases/download/0.9.0/soar.linux-amd64 -O soar
chmod a+x soar
快速上手
安装完成之后无需进行任何配置,只需要执行下面这条命令,就可以立刻生成一份Markdown格式的SQL评审报告,根据报告中的建议对SQL进行修改。
# ./soar -query "select * from tb;" 或 # echo "select * from tb;" | ./soar
使用配置
SOAR提供了丰富的配置参数,可以根据不同的使用场景指定不同的配置项来定制私有的评审建议。不过您也无须担心这些配置会对使用带来困扰,大部分配置选项是为有特殊需求用户准备的,即使不做任何配置也能够体验到SOAR的基础的功能。
SOAR的配置文件为YAML格式,在一般情况下只需要配置online-dsn, test-dsn, log-output等少数几个参数,您就可以体验到SOAR提供的绝大部分的功能了。
配置环境
由于很多的功能需要数据库的元数据来进行辅助判断,所以当不指定数据库环境的时候,很多功能将会采取降级的策略,所以我们强烈建议您在配置文件中指定相关数据库环境。为了保护线上数据库的安全,我们将数据库环境区分为线上和测试两种环境,但是这并不意味着您一定需要两个数据库环境,但至少建议您指定一个测试环境。
这里需要注意的是,因为我们会在测试环境中做一些风险相对较高的操作,为了防止用户由于配置疏忽导致线上数据受损,我们添加了allow-online-as-test参数来保证您确实是希望将线上环境做为测试环境来使用。所以当您指定的两个集成环境相同时,请指定allow-online-as-test为true,否则SOAR将不会进行评审。
默认文件会按照/etc/soar.yaml
, ./etc/soar.yaml
, ./soar.yaml
顺序加载,找到第一个后不再继续加载后面的配置文件。如需指定其他配置文件可以通过-config
参数指定。 即使不创建配置文件SOAR仍然会给出基本的启发式建议。
[root@mydb1 ~]# cat /etc/soar.yaml
# 线上环境配置
online-dsn:
addr: 127.0.0.1:3306
schema: mytest
user: dba_user
password: msds007
disable: false
# 测试环境配置
test-dsn:
addr: 127.0.0.1:3306
schema: test
user: dba_user
password: msds007
disable: false
# 是否允许测试环境与线上环境配置相同
allow-online-as-test: true
https://mp.weixin.qq.com/s/7sj2HnOQsNP_Zf_07C1FFQ?utm_medium=hao.caibaojian.com&utm_source=hao.caibaojian.com
https://www.bookstack.cn/books/SOAR-zh
小米soar的更多相关文章
- 分享一个基于小米 soar 的开源 sql 分析与优化的 WEB 图形化工具
soar-web 基于小米 soar 的开源 sql 分析与优化的 WEB 图形化工具,支持 soar 配置的添加.修改.复制,多配置切换,配置的导出.导入与导入功能. 环境需求 python3.xF ...
- 小米 SOAR 开源SQL优化工具安装
github :https://github.com/xiaomi/soar 安装说明 :https://github.com/XiaoMi/soar/blob/master/doc/install. ...
- 小米正式开源 SQL 智能优化与改写工具 SOAR
近日,小米正式宣布开源 SOAR. 截至今日,该项目已经获得了 350 个「star」以及 44 个「fork」(GitHub项目地址:https://github.com/XiaoMi/soar) ...
- MacOS下安装小米SQL优化工具soar
1 下载源码包 赋予权限 wget https://github.com/XiaoMi/soar/releases/download/0.11.0/soar.darwin-amd64 -O soar ...
- Centos7下安装小米SQL优化工具SOAR
1 下载源码包 赋予权限 wget https://github.com/XiaoMi/soar/releases/download/0.9.0/soar.linux-amd64 -O soar ch ...
- <转载>MacOS下安装小米SQL优化工具soar
原文链接:https://www.cnblogs.com/QuestionsZhang/p/10326105.html 1 下载源码包 赋予权限 wget https://github.com/Xia ...
- SOAR SQL进行优化和改写的自动化工具
前言 SQL优化是程序开发中经常遇到的问题,尤其是在程序规模不断扩大的时候.SQL的好坏不仅制约着程序的规模,影响着用户的体验,甚至威胁着信息的安全. 我们经常听到说哪家平台挂了,哪家网站被黑了,但我 ...
- sql审核工具调研安装-sqlAdvisor和soar
sql审核工具调研 基于soar的sql审核查询平台: https://github.com/beiketianzhuang/data-platform-soar 1.美团工具sqlAdvisor工 ...
- react-native学习笔记--首次安装apk到小米5报错
本文直接引用大神文档: [WINDOWS环境 React Native初识]com.android.ddmlib.InstallException: Failed to establish sessi ...
随机推荐
- ./与sh区别
1 ./需要执行权限,使用脚本文件中第一行#!指定的shell(解释器)来执行命令(譬如常见的/bin/bash),不指定系统会调用默认shell程序 2 sh不需要执行权限,是使用sh这个s ...
- Linux kernel device mapper
Device Mapper 是 Linux2.6 内核中支持逻辑卷管理的通用设备映射机制,它为实现用于存储资源管理的块设备驱动提供了一个高度模块化的内核架构,如图 1. 图1 Device Mappe ...
- caps lock 映射成 esc,右Ctrl映射右移
xmodmap -e 'clear Lock' -e 'keycode 0x42 = Escape' xmodmap -e 'clear Lock' -e 'keycode 105= Right'
- APP消息推送是否进入消息中心和click、receive事件分析
前端时间研究APP消息推送的机制,由于机型.版本的碎片化,消息推送的机制不太好理解,所以总结下,放在博文里以备后续查阅. 安卓Android系统的消息推送: 安卓 推送方式 应用状态 类型 消 ...
- 影响mysql性能的因素
一.服务器硬件. CPU不够快,内存不够多,磁盘IO太慢. 对于计算密集型的应用,CPU越可能去影响系统的性能,此时,CPU和内存将越成为系统的瓶颈. 当热数据大小远远超过系统可用内存大小时,IO资源 ...
- 数据分析 - seaborn 模块
seaborn 模块 简述 对 matplotlib 模块进行了二次封装, 底层依旧使用还是 matplotlib 的, 但是在此基础上增加了很多的易用性模板, 更加方便使用 引用使用 import ...
- Python3+RobotFramewok 用户自定义库的开发(四)
在介绍这个之前,可以先看下python的目录Python\Lib\site-packages下面的文件夹,你会发现这个目录下面有DatabaseLibrary.RequestsLibrary.Sele ...
- 新导入的项目目录结构不对(main目录)
Eclipse导入一个maven项目,碰到一个这样的错误:项目的包路径编程了main.java开头的,而java代码中的pakge却是com开头的,如图. 导致项目编译不通过 错误提示: 解决办法: ...
- redis基础学习---1
5.1.xshell传输文件命令快捷键:alt+p 2.当运行一个程序时,想退出按ctrl+c退出 3.给用户权限:chmod 777 redis.conf 另一种方式:chmod –x 4. 5.查 ...
- Python--多任务(多进程,多线程,协程)
1.单核CPU实现“多任务”:(注意:这里的多任务假的,是轮训执行多个任务一段时间) 1)时间片轮转 2)优先级调度算法 2.并行:真的多任务执行(CPU核数>=任务数):即在某个时刻点上,有多 ...