numa 和 mysql

numa对MySQL多实例性能影响

numa对MySQL多实例性能影响,通过对numa将MySQL绑定在不同的CPU节点上,并且采用绑定的内存分配策略,强制在本节点内分配内存.具体测试如下:1.关闭numa(numa= interleave),MySQL单实例:开启numa(numa=default),MySQL单实例,进行性能测试,比较测试结果.2.numa隔离MySQL两个实例,instance1绑定到0,instance2绑定到1:无numa隔离的MySQL两个实例,进行性能测试,比较测试结果.3.numa隔离MySQL四…

cpu numa结构反应的内存访问速度问题: 在多核cpu的时代引入了cpu的numa(非一致内存访问结构): NUMA引入了node的概念,每个物理CPU都被视作一个node,而每个node都有一个local memory(访问速度更快),其他node的内存则为remote NUMA的内存分配策略有localalloc.preferred.membind.interleave.localalloc规定进程从当前node上请求分配内存:preferred比较宽松地指定了一个推荐的node来获取内…

NUMA架构的CPU -- 你真的用好了么？

本文从NUMA的介绍引出常见的NUMA使用中的陷阱,继而讨论对于NUMA系统的优化方法和一些值得关注的方向. 文章欢迎转载,但转载时请保留本段文字,并置于文章的顶部作者:卢钧轶(cenalulu) 本文原文地址:http://cenalulu.github.io/linux/numa/ 本博客已经迁移至: http://cenalulu.github.io/ 为了更好的体验,请通过此链接阅读: http://cenalulu.github.io/linux/numa/ NUMA简介这部分将简…

[转帖]NUMA架构的CPU -- 你真的用好了么？

NUMA架构的CPU -- 你真的用好了么? 本文从NUMA的介绍引出常见的NUMA使用中的陷阱,继而讨论对于NUMA系统的优化方法和一些值得关注的方向. 文章欢迎转载,但转载时请保留本段文字,并置于文章的顶部作者:卢钧轶(cenalulu) 本文原文地址:http://cenalulu.github.io/linux/numa/ NUMA简介这部分将简要介绍下NUMA架构的成因和具体原理,已经了解的读者可以直接跳到第二节. 为什么要有NUMA 在NUMA架构出现前,CPU欢快的朝着频率越来…

【ZT】NUMA架构的CPU -- 你真的用好了么？

本文从NUMA的介绍引出常见的NUMA使用中的陷阱,继而讨论对于NUMA系统的优化方法和一些值得关注的方向. 文章欢迎转载,但转载时请保留本段文字,并置于文章的顶部作者:卢钧轶(cenalulu) 本文原文地址:http://cenalulu.github.io/linux/numa/ NUMA架构的CPU -- 你真的用好了么? 本文从NUMA的介绍引出常见的NUMA使用中的陷阱,继而讨论对于NUMA系统的优化方法和一些值得关注的方向. 文章欢迎转载,但转载时请保留本段文字,并置于文章的顶部…

SWAP的罪与罚&&NUMA的取舍

说个案例:一台Apache服务器,由于其MaxClients参数设置过大,并且恰好又碰到访问量激增,结果内存被耗光,从而引发SWAP,进而负载攀升,最终导致宕机. 正所谓:SWAP,性能之大事,死生之地,存亡之道,不可不察也. 哪些工具可以监测SWAP 最容易想到的就是free命令了,它指明了当前SWAP的使用情况: ? 1 2 3 shell> free -m total used free Swap: 34175 11…

[译]MongoDb生产环境注意事项

译注: 本文是翻译MongoDB Manuel中的MongoDB Production Notes一节内容.这节内容重点关注生产环境中影响性能和可靠性的各种注意事项,值得正在部署MongoDB的工作者们关注.以下是正文. 本文详细描述了影响MongoDB,特别是生产环境的关键系统配置. 注意:MongoDB管理服务(MMS)是一个托管监控服务,它收集并聚合诊断数据,为MongoDB部署集提供更直观的性能和操作情况概览.更多内容请查看MMS网站和MMS文档. 安装包 MongoDB 确保你安装了最…

docker cgroup技术之cpu和cpuset

在centos7的/sys/fs/cgroup下面可以看到与cpu相关的有cpu,cpuacct和cpuset 3个subsystem.cpu用于对cpu使用率的划分:cpuset用于设置cpu的亲和性等,主要用于numa架构的os:cpuacct记录了cpu的部分信息.对cpu资源的设置可以从2个维度考察:cpu使用百分比和cpu核数目.前者使用cpu subsystem进行配置,后者使用cpuset subsystem进程配置.首先看cpu subsystem的用法 cpu subsyste…

MySQL 5.7 InnoDB缓冲池NUMA功能支持——但是别高兴的太早

当前CPU都已是NUMA架构,相信除了历史遗留系统,很少会有数据库跑在SMP的CPU上了.NUMA架构带来的优势无言而语,CPU更快的内存访问速度,但是带来的问题也不言而喻,特别是对于数据库的影响.MySQL之前"臭名昭著"的swap问题就是因为NUMA架构导致.大部分同学已经知道应对技巧,即在启动文件中加入: numactl --interleave=all mysqld ... or numactl –cpunodebind=node –localalloc mysqld ...…

NUMA导致的MySQL服务器SWAP问题分析与解决方案

[SWAP产生原理] 先从swap产生的原理来分析,由于linux内存管理比较复杂,下面以问答的方式列了一些重要的点,方便大家理解: 1.swap是如何产生的 swap指的是一个交换分区或文件,主要是在内存使用存在压力时,触发内存回收,这时可能会将部分内存的数据交换到swap空间. 2.内存回收的机制 <1>Linux内核使用cache对部分文件进行缓存,提升文件读写效率.所以引入了kswapd进程进行周期性检查,保证剩余内存空间. <2>当内存分配没有足够的空间时,直接内存回收…

修改numa和io调度优化mysql性能

一.NUMA设置单机单实例,建议关闭NUMA,关闭的方法有三种:1.硬件层,在BIOS中设置关闭:2.OS内核,启动时设置numa=off:3.可以用numactl命令将内存分配策略修改为interleave(交叉)方法3修改mySQL.server 330行加上numactlvi /opt/mysql/bin/mysql.server /usr/bin/numactl --interleave all $bindir/mysqld_safe --datadir=$datadir --pid-f…

NUMA导致的MySQL服务器SWAP问题分析

[作者] 王栋:携程技术保障中心数据库专家,对数据库疑难问题的排查和数据库自动化智能化运维工具的开发有强烈的兴趣. [问题描述] 我们知道当mysqld进程使用到SWAP时,就会严重影响到MySQL的性能.SWAP的问题比较复杂,本文会从SWAP的原理开始,分享我们碰到的案例和分析思路. [SWAP原理] swap是把一部分磁盘空间或文件,当作内存来使用.它有换出和换入两种方式,换出是进程把不活跃的内存数据存储到磁盘上,并释放数据占用的内存空间,换入是进程再次访问这部分数据的时候,从磁盘读到内存…

[原] KVM 环境下MySQL性能对比

KVM 环境下MySQL性能对比标签(空格分隔): Cloud2.0 [TOC] 测试目的对比MySQL在物理机和KVM环境下性能情况压测标准压测遵循单一变量原则,所有的对比都是只改变一个变量的前提下完成测试方式以物理机MySQL为基准,分别做两次测试测试IO相关参数(writethrough, innodb flush method) 测试CPU相关参数(NUMA Balancing) 测试环境 CPU:Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10…

MySQL优化聊两句

原文地址:http://www.cnblogs.com/verrion/p/mysql_optimised.html MySQL优化聊两句 MySQL不多介绍,今天聊两句该如何优化以及从哪些方面入手,很多运维从业者一说起优化就不知所措,当运营过程中某个参数值到达一定阀值之后,就会出现各种问题,很多运维工程师这时不知所措,第一可能也从来没有处理过类似情况,另一方面业务又紧张,系统不正常,首要任务是解决问题,那没办法只能重启了,我们先不说重启是否可行,比如有些应用可以重启并且解决了问题,但如没有解决…

PostgreSQL 与 MySQL 相比，优势何在？

一. PostgreSQL 的稳定性极强, Innodb 等引擎在崩溃.断电之类的灾难场景下抗打击能力有了长足进步,然而很多 MySQL 用户都遇到过Server级的数据库丢失的场景——mysql系统库是MyISAM的,相比之下,PG数据库这方面要好一些.二.任何系统都有它的性能极限,在高并发读写,负载逼近极限下,PG的性能指标仍可以维持双曲线甚至对数曲线,到顶峰之后不再下降,而 MySQL 明显出现一个波峰后下滑(5.5版本之后,在企业级版本中有个插件可以改善很多,不过需要付费).三.PG 多…

MySQL 5.7 学习：新增配置参数

背景: 继上次介绍初识 MySQL 5.6 新功能.参数完之后,刚好MySQL 5.7又GA了,在官方测试里看到,MySQL5.7在功能.性能.可用性.安全和监控上又提升了很高.现在看看和MySQL5.6对比,看多了哪些参数:(后续不定时更新) 参数: 1:binlog_group_commit_sync_delay 全局动态变量,单位微妙,默认0,范围:0-1000000(1秒). 表示binlog提交后等待延迟多少时间再同步到磁盘,默认0,不延迟.设置延迟可以让多个事务在用一时刻提交,提高…

优化mysql运行环境的方法

Mysql优化已经讲过很多篇教程了,而且网上也很多相关内容,但是本文我们是讲Linux下Mysql运行环境如何进行优化,有些地方与以往有所不同,也具有参考价值.具体mysql教程如下: 一.修改Linux默认的IO调度算法. linux默认的IO调度算法为cfq,需要修改为dealine,如果是SSD或者PCIe-SSD设备,需要修改为noop,可以使用下面两种修改方式. 1.在线动态修改,重启失效. echo “deadline” > /sys/block/sda/queue/schedul…

mysql 5.7.17发布

Mysql 5.7.17发布了,主要修复: Changes in MySQL 5.7.17 (2016-12-12, General Availability) Compilation Notes MySQL Enterprise Notes Packaging Notes Security Notes Test Suite Notes Functionality Added or Changed Bugs Fixed Compilation Notes For GCC versions hig…

MySQL 运行环境建议规范

一.操作系统环境操作系统版本选择 CentOS/RHRL/ORACLE Linux 5.x/6.x x86_64 发行版建议磁盘分区规则 MySQL 运行环境建议规范挂载点大小分区类型分区用途 /boot 100M 系统默认即可 /boo swap 4G-16G swap swap /opt 20G xfs 安装应用软件应用程序安装在 /opt/app/ 下的子目录,例如 /opt/app/mysql-5.5.37 / 40G ,最小不低于 20G 系统默认即可 / /home 第一…

MySQL 优化之 Linux系统层面调优

MySQL 一般运行于Linux系统中.对于MySQL的调优一般分为Linux操作系统层面的调优和MySQL层面的调优(当然还有架构层面.业务层面.应用程序层面的调优).操作系统主要是管理和分配硬件资源,所以其实系统层面的调优包括了硬件的调优,也就是调整硬件参数.Linux系统层面的调优一般分为 CPU的调优.内存的调优.磁盘的调优.网络的调优.Linux后台service调优等等. 1. CPU 调优 1.1 CPU 的节能模式在server环境的CPU一定要关闭节能模式,节能模式不适应于服…

MySQL 调优基础(一) CPU与进程

一般而言,MySQL 的调优可以分为两个层面,一个是在MySQL层面上进行的调优,比如SQL改写,索引的添加,MySQL各种参数的配置:另一个层面是从操作系统的层面和硬件的层面来进行调优.操作系统的层面的调优,一般要先定位到是那种资源出现瓶颈——CPU. 内存.硬盘.网络,然后入手调优.所以其实MySQL 的调优,其实不是那么简单,它要求我们对硬件.OS.MySQL 三者都具有比较深入的理解.比如 NUMA 架构的CPU是如何分配CPU的,以及是如何分配内存的,如何避免导致SWAP的发生:Li…

【mysql】关于硬件方面的一些优化

一.CPU最大性能模式 cpu利用特点 5.1 最高可用4个核 5.5 最高可用24核 5.6 最高可用64核心一次query对应一个逻辑CPU 你仔细检查的话,有些服务器上会有的一个有趣的现象:你cat /proc/cpuinfo时,会发现CPU的频率竟然跟它标称的频率不一样: #cat /proc/cpuinfo processor : 5 model name : Intel(R) Xeon(R) CPU E5-2620 0 @2.00GHz ... cpu MHz : 1200.000…

Percona 开始尝试基于Ceph做上层感知的分布式 MySQL 集群，使用 Ceph 提供的快照，备份和 HA 功能来解决分布式数据库的底层存储问题

本文由 Ceph 中国社区 -QiYu 翻译英文出处:Using Ceph with MySQL 欢迎加入CCTG Over the last year, the Ceph world drew me in. Partly because of my taste for distributed systems, but also because I think Ceph represents a great opportunity for MySQL specifically and data…

如何配置全世界最小的 MySQL 服务器

配置全世界最小的 MySQL 服务器——如何在一块 Intel Edison 为控制板上安装一个 MySQL 服务器. 介绍在我最近的一篇博文中,物联网,消息以及 MySQL,我展示了如果 Particle Photon 的板子开始构建你自己的物联网.那个实现很棒,不过因为 Particle Photon 板子没有任何本地的存储,所以需要稳定的互联网(wi-fi)接入.如果你没有一个可靠的网络访问 (例如在一些边远的地方) 或者需要某些很小的东西来存储数据,现在就可以使用 Intel Edis…

针对跑MySQL的Linux优化【转】

本文来自:http://www.mysqlsupport.cn/linux-performance-tuning-tips-mysql/ 因为很多MySQL的生产环境都在Linux下,我决定指出一些Linux下跑MySQL的很重要的优化点.这些是大家都知道的,也没什么新东西,但我想在这一个blog里收集整理一下Linux相关的配置优化经验. 文件系统: ext4(or xfs) mount时使用notime选项文件系统调度策略: 使用deadline or noop # echo deadli…

Centos 7环境下编译mysql 5.7

首先在编译之前,我们要了解相关mysql 5.7的编译选项,官网编译选项地址:http://dev.mysql.com/doc/refman/5.7/en/source-configuration-options.html 1.安装编译工具cmake和其他的c语言编译环境 yum install -y make gcc gcc-c++ ncurses-devel cmake 编译选项解释 cmake指定编译选项的方式不同于make,其实现方式对比如下: ./configure…

Mongodb在NUMA机器上的优化

10gen在mongodb的部署指南上,提到了在NUMA机器上,mongodb可能会出现问题,参见:http://docs.mongodb.org/manual/administration/production-notes/#production-numa 里面引用了一篇博客,主要讲MySQL的swap insanity,而mongodb也会遇到类似的问题,博客地址:http://blog.jcole.us/2010/09/28/mysql-swap-insanity-and-the-numa…

【numa 和 mysql】的更多相关文章