OpenSIPS 2.4.2 高并发下,日志丢失怎么办

- CentOS 7.4
- Rsyslogd 8.24.0
- OpenSIPS 2.4.2
log_level=
log_stderror=no
log_facility=LOG_LOCAL0
log_name="/usr/local/opensips/sbin/opensips"
xlog_buf_size=
1.2 rsyslog.conf 自定义日志配置如下:
将设施为local0的所有级别的日志,都输出到指定文件
local0.* /var/log/opensips/opensips.log
1.3 OpenSIPS日志输出方式:
xlog("L_INFO", "[$fU->$rU] Route to user [$tu] [ci:$ci] [xcid:$hdr(X-CID)]");
- 在低并发测试场景,按上述方式使用L_INFO级别输出日志时,都能在 /var/log/opensips/opensips.log 中正常打印日志,但是在高并发(20 CPS、1500并发)下,使用L_INFO级别输出的日志,经常会丢失。
- 高并发下,opensips的日志文件,经常出现输出一次后,会等30秒才输出后续的日志。
- 高并发下 /var/log/message 文件偶尔输出提示因日志输出速率超标,而强制丢弃部分日志的信息。如下所示:
Aug :: uat16599 rsyslogd: imjournal: messages lost due to rate-limiting
Aug :: uat16599 rsyslogd: imjournal: messages lost due to rate-limiting
Aug :: uat16599 rsyslogd: imjournal: messages lost due to rate-limiting
# Turn off message reception via local log socket;
# local messages are retrieved through imjournal now.
$OmitLocalLogging on
然而Systemd Journal 默认情况下,30秒内只允许记录1000条日志文件,并且每10分钟累计最大处理20000条日志,这显然不够用啊。所以我们可以通过修改 Systemd Journal 的配置/etc/systemd/journald.conf来解决该问题。

- 方式一、去掉第一个参数“L_INFO”(将采用默认的 L_ERR级别),高压下打印也都正常
xlog("[$fU->$rU] Route to user [$tu] [ci:$ci] [xcid:$hdr(X-CID)]");
- 方式二、指定OpenSIPS的默认日志级别:xlog_default_level=3或4, 这样高并发下基本正常,偶尔依旧会丢失部分日志
xlog_default_level= xlog("L_INFO", "[$fU->$rU] Route to user [$tu] [ci:$ci] xcid:$hdr(X-CID)]");
xlog("[$fU->$rU] Route to user [$tu] [ci:$ci] [xcid:$hdr(X-CID)]");
- 方式一、采用rsyslog同步模式处理日志【简单粗暴】
- 注释掉下面一行即可
- #$OmitLocalLogging on
- 方式二、关闭ystemd Journal的速率限制【野蛮暴力】
- 调整Systemd Journal的配置文件/etc/systemd/journald.conf
- RateLimitInterval=0
- RateLimitBurst=0
- CentOS6下:修改/etc/rsyslog.conf文件,增加下面几行(CentOS6下没有Journal)
- $SystemLogRateLimitInterval 0
- $IMUXSockRateLimitInterval 0
- 方式三、增大速率限制上限【温文尔雅】
- 调整Systemd Journal的配置文件/etc/systemd/journald.conf
- RateLimitInterval=5s (默认值30s)
- RateLimitBurst=20000 (默认值200)
- 修改/etc/rsyslog.conf文件,增加下面几行(CentOS7下可不配置下面几项,CentOS6下没有Journal,只需增加下面前两项)
- $SystemLogRateLimitInterval 5 (默认值5)
- $SystemLogRateLimitBurst 20000 (默认值200)
- $imjournalRatelimitInterval 600 (默认值600)
- $imjournalRatelimitBurst 2400000 (默认值20000)
参数
|
说明
|
默认值
|
log_level | OpenSIPS输出的日志详细程度,值越大,代表输出日志越详细 | [-3, 4] |
xlog_default_level | 是否需要将日志输出到启动OpenSIPS的控制台 | -1 |
log_stderror | 是否需要将日志输出到启动OpenSIPS的控制台 | no |
log_name | 以守护进程方式运行OpenSIPS时,输出日志的进程名称,如默认是启动OpenSIPS的命令名 /usr/local/opensips/sbin/opensips | argv[0] |
log_facility | 指定使用rsyslogd 的facility 输出日志,默认会将日志输出到 /var/log/messages 文件中 | LOG_DAEMON |
xlog_buf_size | 用于缓存单行日志的空间大小,如果待输出的日志超过该阈值,OpenSIPS将丢弃,并输出一个 buffer overflow 的错误 | 4096 |
5.2 xlog函数介绍
函数:xlog([log_level, ]format_string)
- L_ALERT (-3)
- L_CRIT (-2)
- L_ERR (-1) - 如果不填写log_level,则默认选这个
- L_WARN (1)
- L_NOTICE (2)
- L_INFO (3)
- L_DBG (4)
样例:
xlog("Received $rm from $fu (callid: $ci)\n");
xlog("L_ERR", "key $var(username) not found in cache!\n");
5.3 syslog 功能测试
- 使用下面命令,可以手动发送日志到syslog :
logger -p local1.info "hello world"
- C语言代码测试syslog : ztest_rsyslog.c
#include<stdio.h>
#include<stdlib.h>
#include <syslog.h>
#include <unistd.h> void Info(void)
{
int i;
int j;
openlog("info",LOG_PID,LOG_LOCAL1);/*注意这里的数字1要跟 /etc/rsyslog.conf中的配置一致 local1.* /home/admin/z_test_rsyslog.log */
syslog(LOG_INFO, "hello %s","info log test");
for(j = ; j < ; j++) {
for(i = ; i < ; i++ ) {
syslog(LOG_INFO|LOG_LOCAL1, "hello not execute openlog for specify progress name : %s, loop=%d, index=%d", "info log test", j, i);
syslog(LOG_ERR|LOG_LOCAL1, "hello not execute openlog for specify progress name : %s, loop=%d, index=%d", "ERROR log test", j, i);
}
sleep();
}
} void Woring(void)
{
openlog("woring",LOG_PID,LOG_LOCAL1);
syslog(LOG_WARNING, "hello %s","warning log test");
} int main()
{
Woring();
Info();
closelog();
return ;
}
编译运行:
Aug :: LPT0570 progress-name-info[]: hello info log test
Aug :: LPT0570 progress-name-woring[]: hello warning log test
Aug :: LPT0570 ztest_rsyslog_bin: hello not execute openlog for specify progress name : info log test, loop=, index=
Aug :: LPT0570 ztest_rsyslog_bin: hello not execute openlog for specify progress name : ERROR log test, loop=, index=
OpenSIPS 2.4.2 高并发下,日志丢失怎么办的更多相关文章
- 为何要打印日志?C++在高并发下如何写日志文件(附源码)?
为何要打印日志?让程序裸奔不是一件很快乐的事么? 有些BUG就像薛定谔的猫,具有波粒二象性,当你试图去观察它时它就消失了,当你不去观察它时,它又会出现.当你在测试人员面前赌咒发誓,亲自路演把程序跑一遍 ...
- 高吞吐koa日志中间件
Midlog中间件 node服务端开发中少不了日志打点,而在koa框架下的日志打点在多进程环境中日志信息往往无法对应上下文,而且在高并发下直接进行写buffer操作(内核调用writev)也会造成内存 ...
- 高并发下的 Nginx 优化与负载均衡
高并发下的 Nginx 优化 英文原文:Optimizing Nginx for High Traffic Loads 过去谈过一些关于Nginx的常见问题; 其中有一些是关于如何优化Nginx. ...
- 高并发下的Nginx优化
高并发下的Nginx优化 2014-08-08 13:30 mood Nginx 过去谈过一些关于Nginx的常见问题; 其中有一些是关于如何优化Nginx. 很多Nginx新用户是从Apach ...
- 《高并发下的.NET》第2季 - 《memcached连接暴增案》第1集:问题表现
在<.NET 5.0 背锅案>第7集-大结局之后,园子和 .NET 继续过上了幸福生活...剧情很美好,现实很残酷...现实是旧案刚结,新案立至,而且新案与旧案有关联,被迫继续拍剧,并对该 ...
- 《高并发下的.NET》第2季 - 故障公告:高并发下全线崩溃
大家好,非常抱歉,在昨天下午(12月3日)的访问高峰,园子迎来更高的并发,在这样的高并发下,突发的数据库连接故障造成博客站点全线崩溃,由此给您带来很大的麻烦,请您谅解. 最近,我们一边在忙于AWS合作 ...
- php结合redis实现高并发下的抢购、秒杀功能
抢购.秒杀是如今很常见的一个应用场景,主要需要解决的问题有两个:1 高并发对数据库产生的压力2 竞争状态下如何解决库存的正确减少("超卖"问题)对于第一个问题,已经很容易想到用缓存 ...
- 高并发下MySQL出现checking permissions
在某些数据访问层框架中,会使用show full tables from test like 'demo',来检查数据库的状态.当数据库中表的数量较少时,并没有出现严重的问题.但是当数据库中的表数量多 ...
- EF+MySQL乐观锁控制电商并发下单扣减库存,在高并发下的问题
下订单减库存的方式 现在,连农村的大姐都会用手机上淘宝购物了,相信电商对大家已经非常熟悉了,如果熟悉电商开发的同学,就知道在买家下单购买商品的时候,是需要扣减库存的,当然有2种扣减库存的方式, 一种是 ...
随机推荐
- PHP imagecolorallocatealpha - 为一幅图像分配颜色和透明度
imagecolorallocatealpha — 为一幅图像分配颜色和透明度.高佣联盟 www.cgewang.com 语法 int imagecolorallocatealpha ( resour ...
- luogu P5892 [IOI2014]holiday 假期 决策单调性优化dp 主席树
LINK:holiday 考虑第一个subtask. 容易想到n^2暴力枚举之后再暴力计算答案. 第二个subtask 暴力枚举终点可以利用主席树快速统计答案. 第三个subtask 暴力枚举两端利用 ...
- Vue通过Blob对象实现导出Excel功能
不同的项目有不同的导出需求,有些只导出当前所显示结果页面的表格进入excel,这个时候就有很多插件,比如vue-json-excel或者是Blob.js+Export2Excel.js来实现导出Exc ...
- 【NOIP2016】换教室 题解(期望DP)
前言:状态贼鸡儿多,眼睛快瞎了. ----------------------- 题目链接 题目大意:给定$n(课程数),m(可换次数),v(教室数),e(无向边数)$,同时给定原定教室$c[i]$和 ...
- 001_记一次ansible api二次开发遇到的小问题
在某次关于发布系统的项目中,需要调用ansible来发布任务,其中一段代码是初始化ansible的连接,并传入一个source(目标机器)的值,代码段如下: from .ansible_api imp ...
- 100行Python代码实现一款高精度免费OCR工具
近期Github开源了一款基于Python开发.名为 Textshot 的截图工具,刚开源不到半个月已经500+Star. 很多人学习python,不知道从何学起.很多人学习python,掌握了基本语 ...
- Visual Studio Code中设置sftp同步代码到服务器
## **前言** - 绝对的大佬才会直接在Linux下用vim写代码,我等小白只能通过IDE来了,所以将代码同步到服务器上就很重要了.使用vs code设置好sftp就可以实现这一功能. - 设置之 ...
- C#LeetCode刷题之#66-加一(Plus One)
问题 该文章的最新版本已迁移至个人博客[比特飞],单击链接 https://www.byteflying.com/archives/3684 访问. 给定一个由整数组成的非空数组所表示的非负整数,在该 ...
- 熵权法原理及matlab代码实现
参考原理博客地址https://blog.csdn.net/u013713294/article/details/53407087 一.基本原理 在信息论中,熵是对不确定性的一种度量.信息量越大,不确 ...
- angular中常用内置过滤器
<!DOCTYPE html> <html lang="en" ng-app="app"> <head> <meta ...