2.配置通过数据库接收SaltStack批量管理日志

2.配置通过数据库接收SaltStack批量管理日志

2016-07-04 10:02:52来源:oschina作者:eddy_linux人点击

 

 

默认情况下发送给salt minion的命令执行结果将返回给salt master,saltstack returner的接口允许发送给任意系统

内置returner模块列表 carbon_return将结果返回给carbon接收器 cassandre_return 将结果返回给cassandra columnfamily local将结果返回本地测试returner接口,即打印当前结果 mongo_future_return 将结果返回给mongodb mongo_retuern将结果返回给mongodb mysql将结果返回给mysql postgres 将结果返回给postgres redis_return将结果返回给redis sentry_return将结果返回给sentry smtp_return 将email返回给salt数据 syslog_return将结果返回给系统的syslog facility

将返回值写到mysql的实现

1、创建salt存放数据库，使用如下sql CREATE DATABASE `salt`DEFAULT CHARACTER SET utf8DEFAULT COLLATE utf8_general_ci; USE `salt`; -- -- Table structure for table `jids` -- DROP TABLE IF EXISTS `jids`; CREATE TABLE `jids` (`jid` varchar(255) NOT NULL,`load` mediumtext NOT NULL,UNIQUE KEY `jid` (`jid`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; -- -- Table structure for table `salt_returns` -- DROP TABLE IF EXISTS `salt_returns`; CREATE TABLE `salt_returns` (`fun` varchar(50) NOT NULL,`jid` varchar(255) NOT NULL,`return` mediumtext NOT NULL,`id` varchar(255) NOT NULL,`success` varchar(10) NOT NULL,`full_ret` mediumtext NOT NULL,KEY `id` (`id`),KEY `jid` (`jid`),KEY `fun` (`fun`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

创建访问数据库用户 GRANT ALL PRIVILEGES ON salt.* to 'salt'@'%' identified by 'salt'; 在master端创建mysql returner脚本 在salt-minion上的配置文件加入以下内容 mysql.host: '192.168.1.200' mysql.user: 'salt' mysql.pass: 'salt' mysql.db: 'salt' mysql.port: 3306 重启minion

在master端执行 [root@salt-master ~]# salt '*' cmd.run 'uptime' --return mysql salt-minion: 21:21:22 up 38 min, 1 user, load average: 0.01, 0.04, 0.05 在mysql上查询 mysql> select * from salt_returns/G; *************************** 1. row *************************** fun: cmd.run jid: 20160702212122866058return: " 21:21:22 up 38 min, 1 user, load average: 0.01, 0.04, 0.05"id: salt-minion success: 1 full_ret: {"fun_args": ["uptime"], "jid": "20160702212122866058", "return": " 21:21:22 up 38 min, 1 user, load average: 0.01, 0.04, 0.05", "retcode": 0, "success": true, "fun": "cmd.run", "id": "salt-minion"} 1 row in set (0.00 sec) 可以看到已经将返回存入到mysql中的salt库中的salt_returns这个表里面了

实际生产中不建议这种方式

在master上采用event模式来采集所有master上的返回结果

event是一个本地的zeroMq PUB interface,event是一个开放的系统,用于发送信息通知salt或者其它操作系统 每个event都有一个标签,事件标签允许快速置顶过滤事件,除了标签之外,每个事件都有一个数据结构.这个数据结构是一个dict类型,其中包含关于时间的信息

以下是一个监听master收到返回的信息的脚本 #!/usr/bin/env python # #

import salt.utils.event event = salt.utils.event.MasterEvent('/var/run/salt/master') for eachevent in event.iter_events(full=True): print eachevent print '======='

下面就是如何把event事件存放到mysql中 1.master上需要安装python的mysql模块 2.创建salt存放数据库，使用如下sql CREATE DATABASE `salt`DEFAULT CHARACTER SET utf8DEFAULT COLLATE utf8_general_ci; USE `salt`; -- -- Table structure for table `jids` -- DROP TABLE IF EXISTS `jids`; CREATE TABLE `jids` (`jid` varchar(255) NOT NULL,`load` mediumtext NOT NULL,UNIQUE KEY `jid` (`jid`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; -- -- Table structure for table `salt_returns` -- DROP TABLE IF EXISTS `salt_returns`; CREATE TABLE `salt_returns` (`fun` varchar(50) NOT NULL,`jid` varchar(255) NOT NULL,`return` mediumtext NOT NULL,`id` varchar(255) NOT NULL,`success` varchar(10) NOT NULL,`full_ret` mediumtext NOT NULL,KEY `id` (`id`),KEY `jid` (`jid`),KEY `fun` (`fun`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

创建访问数据库用户 GRANT ALL PRIVILEGES ON salt.* to 'salt'@'%' identified by 'salt';

3.监听事件并把数据写入到mysql中 #!/use/bin/env python #coding=utf-8 #

import json import salt.config import salt.utils.event import MySQLdb

__opts__ = salt.config.client_config('/etc/salt/master')

conn = MySQLdb.connect(host=__opts__['mysql.host'],user=__opts__['mysql.user'],passwd=__opts__['mysql.pass'], db=__opts__['mysql.db'], port=__opts__['mysql.port']) cursor = conn.cursor()

event = salt.utils.event.MasterEvent(__opts__['sock_dir'])

for eachevent in event.iter_events(full=True): ret = eachevent['data'] if 'salt/job/' in eachevent['tag']: if ret.has_key('id') and ret.has_key('return'):if ret['fun'] == 'saltutil.find_job':continuesql = '''insert into `salt_returns` (`fun`,`jid`,`return`,`id`,`success`,`full_ret`) values ('%s', '%s', '%s', '%s', '%s', '%s')''' %(ret['fun'],ret['jid'],json.dumps(ret['return']),ret['id'],ret['success'],json.dumps(ret))cursor.execute(sql)cursor.execute('commit') else: pass

主要就是实现接收到信息并写入到mysql数据库中 现在在master端上执行 [root@salt-master ~]# salt '*' cmd.run 'uptime' salt-minion: 22:27:04 up 1:44, 1 user, load average: 0.00, 0.01, 0.05 查看数据库 *************************** 6. row *************************** fun: cmd.run jid: 20160702222704667293return: " 22:27:04 up 1:44, 1 user, load average: 0.00, 0.01, 0.05"id: salt-minion success: True full_ret: {"fun_args": ["uptime"], "jid": "20160702222704667293", "return": " 22:27:04 up 1:44, 1 user, load average: 0.00, 0.01, 0.05", "retcode": 0, "success": true, "cmd": "_return", "_stamp": "2016-07-02T14:27:04.787261", "fun": "cmd.run", "id": "salt-minion"} 6 rows in set (0.00 sec)

数据库也写入了

分组: 如果机器太多则需要进行分组 G grains globs匹配 E pcre minion id 正则匹配 P grains pcre匹配 L minions列表 l pillar glob匹配 S ip匹配 D minion data匹配

在master的配置文件中添加 nodegroups:test1: 'L@salt-minion' #精确匹配分组test2: 'E@salt*' #正则匹配分组test: 'N@test1 or N@test2' 多个组组合起来进行吩咐 执行 [root@salt-master ~]# salt -N test1 test.ping salt-minion: True [root@salt-master ~]# salt -N test2 test.ping salt-minion: True salt-master: True [root@salt-master ~]# salt -N test test.ping salt-minion: True salt-master: True