zabbix server优化与迁移

1. 概述

zabbix 系统其实分3个大部分，一个是server本身，另一个是php的httpd服务，第三个是非常需要优化的数据库。公司的zabbix监控主机在3000不到的体量，不优化真的不行。主要说说mysql，其他几个略了，结合zabbix自身的监控数据，参数该调大就调大。

2. mysql 优化导表

2.1 tokudb引擎

重点是这个数据库，设计原因，造成几个表过大。每次insert时间过长造成性能问题，我目前的实践发现tokudb引擎是很好的解决方案，有关tokudb的原理可看https://www.percona.com/software/mysql-database/percona-tokudb 。mysql官方的包是不支持tokudb引擎的，可以下载percona的包，或者是alisql的。我的选择是percona 源码包编译，percona其实是提供rpm安装方式的，但是好像网络有问题总会下载不下来。

有关mysql安装可以参考我之前的文章 https://gqdw.github.io/2017/01/17/mysql-5-7-install/ ,有些不同之处在于percona的包没有带boost ，我是从官网mysql源码包上下载了以后拷过去的，可以用。

先要在系统里设置2个内核参数。

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

之后要在mysql中激活一下tokudb引擎,

INSTALL PLUGIN tokudb SONAME 'ha_tokudb.so';

INSTALL PLUGIN tokudb_file_map SONAME 'ha_tokudb.so';

INSTALL PLUGIN tokudb_fractal_tree_info SONAME 'ha_tokudb.so';

INSTALL PLUGIN tokudb_fractal_tree_block_map SONAME 'ha_tokudb.so';

INSTALL PLUGIN tokudb_trx SONAME 'ha_tokudb.so';

INSTALL PLUGIN tokudb_locks SONAME 'ha_tokudb.so';

INSTALL PLUGIN tokudb_lock_waits SONAME 'ha_tokudb.so';

INSTALL PLUGIN tokudb_background_job_status SONAME 'ha_tokudb.so';

安装完了SHOW ENGINES 一下。

+--------------------+---------+----------------------------------------------------------------------------+--------------+------+------------+

| Engine             | Support | Comment                                                                    | Transactions | XA   | Savepoints |

+--------------------+---------+----------------------------------------------------------------------------+--------------+------+------------+

| MyISAM             | YES     | MyISAM storage engine                                                      | NO           | NO   | NO         |

| MRG_MYISAM         | YES     | Collection of identical MyISAM tables                                      | NO           | NO   | NO         |

| CSV                | YES     | CSV storage engine                                                         | NO           | NO   | NO         |

| BLACKHOLE          | YES     | /dev/null storage engine (anything you write to it disappears)             | NO           | NO   | NO         |

| InnoDB             | DEFAULT | Percona-XtraDB, Supports transactions, row-level locking, and foreign keys | YES          | YES  | YES        |

| TokuDB             | YES     | Percona TokuDB Storage Engine with Fractal Tree(tm) Technology             | YES          | YES  | YES        |

| PERFORMANCE_SCHEMA | YES     | Performance Schema                                                         | NO           | NO   | NO         |

| ARCHIVE            | YES     | Archive storage engine                                                     | NO           | NO   | NO         |

| MEMORY             | YES     | Hash based, stored in memory, useful for temporary tables                  | NO           | NO   | NO         |

| FEDERATED          | NO      | Federated MySQL storage engine                                             | NULL         | NULL | NULL       |

+--------------------+---------+----------------------------------------------------------------------------+--------------+------+------------+

可以看到tokudb完美的支持Transactions , XA ,Savepoints ，可以放心使用。早些年其实tokudb还是有明显bug的，用用会崩溃，但是2019年这些不存在了，感谢开源老哥的无私奉献。

另外说一下，硬件需要选择ssd，普通的盘io真的跟不上。

2.2 导数据

之后是导数据，我的做法是跳过几个大表，把小库导入，之后在导2个大表。

trends
trends_uint

history的几个表不用导，但是表结构需要建好，而且这几个表一定要做表分区，不然管理的时候会有些麻烦。

导出表需要写几个小脚本，写个for,done ,so easy:

day=0329

mkdir $day

for t in `cat tabs`

do

	echo "mysqldump zabbix $t > $day/$t.sql"

	mysqldump --set-gtid-purged=OFF zabbix $t > $day/$t.sql

done

我这里加了--set-gtid-purged=OFF，不然会把gtid给带上。

恢复的时候就是这样:

for t in `cat tabs`

do

	echo "mysql  zabbix <  0329/$t.sql"

	mysql -uzabbix -pzabbixpass zabbix <  0329/$t.sql

done

mysqldump只导表结构的参数是-d 。

导历史数据的时候也有个技巧，把dump出来的sql修改一下，去掉

DROP TABLE IF EXISTS `trends`;

LOCK TABLES `trends` WRITE;

去掉lock table可以在线导。总不能停服务导吧~

3. 总结

细节是魔鬼,mysql这块虽然是比oracle操作要简单不少，但是做起来还是一个熟练度问题，搞不好很多时候就要重头搞，可能数据也给搞没了，所以做的时候需要思路很清醒，很多细节问题需要注意。