Nginx 服务器性能Bug和性能优化方案（真实经历）
一、遇到的问题
1、问题：本应该是3个ffmpeg ，但是怎么会有5个ffmpeg出现？
2、Lua脚本问题，一直写入日志，导致有大量的日志，这里的错误日志是直接写进nginx的error.log 日志文件的
（1）日志文件
total .8G
-rw-r--r-- 1 root root 11M May 9 21:47 access.log
-rw-r--r-- 1 root root 3.1K May 9 21:46 error.log
-rw-r--r-- 1 root root 705M May 9 21:44 live_access.log
-rw-r--r-- 1 root root 1.1G May 9 21:44 nginx_error.log
2017/05/09 21:43:05 时间段详细记录：
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" matches "/live/C
// :: [notice] #: * "\.m3u8" matches "/live/C
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" matches "/live/C
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" matches "/live/C
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" matches "/live/C
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" matches "/live/C
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" matches "/live/C
// :: [notice] #: * "\.m3u8" matches "/live/C
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" matches "/live/C
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" matches "/live/C
// :: [notice] #: * "\.m3u8" matches "/live/C
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
// :: [notice] #: * "\.m3u8" does not match "
2017/05/09 21:36:43 时间段详细记录，太恐怖了，1s写入日志多大240条，难怪nginx的负载飙到54%
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [info] #: * client pre
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [info] #: * client
// :: [info] #: * client
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
// :: [notice] #: * "\.m3u8"
// :: [error] #: * [lua] hls
// :: [notice] #: * "\.m3u8"
(2)Lua脚本日志写入：
if ( tonumber(res) == or tonumber(res) == ) then -- 不是签名验证，则直接返回
ngx.log(ngx.ERR, "error : 不是签名验证，则直接返回::res=== ",res)
return
end
解决办法：立即关闭该日志的写入，重启nginx服务器 reload
【1】日志切割工具下载：http://soft.laozuo.org/tools/Knife4File.zip
【2】log日志查看工具：http://www.uvviewsoft.com/logviewer/files/LogViewerPro.zip
3、他们摄像头推流，直播结束后ffmpeg 进程一直在
4、是否针对播流权限认真是否取消掉？
答：暂时先取消掉
6、流状态列表查看（必须的联系他们的人员怎么处理），没有推流但是nginx服务状态一直存在
解决方案：
修改nginx rtmp配置参数，添加这个参数：drop_idle_publisher 10s;
drop_idle_publisher
语法：drop_idle_publisher timeout
上下文：rtmp, server, application
描述：终止指定时间内闲置(没有音频/视频数据)的发布连接。默认为 off。注意这个仅仅对于发布模式的连接起作用(发送 publish 命令之后)。
语法：drop_idle_publisher timeout
上下文：rtmp, server, application
描述：终止指定时间内闲置(没有音频/视频数据)的发布连接。默认为 off。注意这个仅仅对于发布模式的连接起作用(发送 publish 命令之后)。
二、性能优化技巧
1、设置worker_connections：10240
官方解释如下，个人认为是每一个worker进程能并发处理（发起）的最大连接数（包含所有连接数）。不能超过最大文件打开数：在linux终端中输入ulimit -a进行查看
www@ubuntu5:$ ulimit -a
core file size (blocks, -c)
data seg size (kbytes, -d) unlimited
scheduling priority (-e)
file size (blocks, -f) unlimited
pending signals (-i)
max locked memory (kbytes, -l)
max memory size (kbytes, -m) unlimited
open files (-n)
pipe size ( bytes, -p)
POSIX message queues (bytes, -q)
real-time priority (-r)
stack size (kbytes, -s)
cpu time (seconds, -t) unlimited
max user processes (-u) 126277
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
2、编译安装过程优化
找到源码的这个文件 /nginx-1.10.3/auto/cc/gcc
# debug
CFLAGS="$CFLAGS -g"
不修改代码大小7.3M：
tinywan@tinywan:~/nginx-1.10./auto/cc$ ls -lh /usr/local/nginx/sbin/nginx
-rwxr-xr-x root root 7.3M 3月 : /usr/local/nginx/sbin/nginx
修改后的文件大小759K
tinywan@tinywan:~/nginx-1.10.$ ls -lh /usr/local/nginx/sbin/nginx
-rwxr-xr-x root root 759K 5月 : /usr/local/nginx/sbin/nginx
查看CPU类型
tinywan@tinywan:~/nginx-1.10.$ cat /proc/cpuinfo | grep "model name"
model name : Intel(R) Core(TM) i3- CPU @ .60GHz
Nginx日志分割及自动删除超过30天日志
#!/bin/bash
# 分割nginx access日志脚本 time=`date +%Y%m%d`
logs_path="/usr/local/nginx/logs/"
pid_path="/usr/local/nginx/logs/nginx.pid" #日志分割，按天创建文件夹
cd $logs_path
website=`ls $logs_path/access_* | xargs -n | cut -f -d "_"`
for i in $website
do
mkdir -p $logs_path/backup/$time/
mv $logs_path/access_$i $logs_path/backup/$time/$i
done
#向nginx主进程发信号重新打开日志
kill -USR1 `cat ${pid_path}` #每月1日删除所有超过30天日志。
if [ "`date +%d`" = "" ]; then
all_list=`ls $logs_path/backup | xargs -n `
for del in $all_list
do
let results=$time-$del
if [ $results -gt ]; then
rm -rf $logs_path/backup/$del
fi
done
fi
注： /usr/local/nginx/logs/下的日志格式为access_domain1.log。
加入计划任务，每天大概0时分割日志：
* * * /data/script/nginx_logs.sh
Nginx 服务器性能Bug和性能优化方案（真实经历）的更多相关文章
- 大型php网站性能和并发访问优化方案（转载自php中文网）
网站性能优化对于大型网站来说非常重要,一个网站的访问打开速度影响着用户体验度,网站访问速度慢会造成高跳出率,小网站很好解决,那对于大型网站由于栏目多,图片和图像都比较庞大,那该怎 ...
- 大型php网站性能和并发访问优化方案
网站性能优化对于大型网站来说非常重要,一个网站的访问打开速度影响着用户体验度,网站访问速度慢会造成高跳出率,小网站很好解决,那对于大型网站由于栏目多,图片和图像都比较庞大,那该怎么进行整体性能优化呢? ...
- Nginx 之三：nginx服务器模块、web请求处理机制及事件驱动模型、进程功能和进程间通信
一:Nginx的模块化结构设计: 1.核心模块:指的是nginx服务器运行当中必不可少的模块,这些模块提供了最基本最核心的服务,比如权限控制.进程管理.错误日志.事件驱动.正则表达式解析等,nginx ...
- nginx 服务器篇
Nginx 服务器类型 1. Web服务器 Web服务器用于提供HTTP(包括HTTPS)的访问,例如Nginx.Apache.IIS等. 2. 应用程序服务器 应用程序服务器能够用于应用程序的运行, ...
- [转载20131024]Nginx服务器漏洞的利用和修复方法
本文主要分为两大部分,第一部分介绍了Nginx的一些常见安全漏洞的形成原因.利用方法,并给出了相应的解决办法;第二部分介绍了Nginx安全加固时需要关注的主要内容. Nginx(发音同engine x ...
- [记录]NGINX配置HTTPS性能优化方案一则
NGINX配置HTTPS性能优化方案一则: 1)HSTS的合理使用 2)会话恢复的合理使用 3)Ocsp stapling的合理使用 4)TLS协议的合理配置 5)False Start的合理使用 6 ...
- vue-小爱ADMIN系列文章(二)：微信微博等分享，国际化，前端性能优化，nginx服务器部署
最近在做我的小爱ADMIN后台管理系统,结合当前市场后台管理系统对相关功能的需求,我又开始新增了一些新的功能和组件,如分享功能组件,项目国际化功能:项目完成后,部署在nginx服务器,发现首次访问的速 ...
- Nginx的性能优化方案
nginx的优化 ． gzip压缩优化 ． expires缓存有还 ． 网络IO事件模型优化 ． 隐藏软件名称和版本号 ． 防盗链优化 ． 禁止恶意域名解析 ． 禁止通过IP地址访问网站 ． HTTP ...
- Nginx服务器性能优化与安全配置实践指南
转载自:https://www.bilibili.com/read/cv16151784?spm_id_from=333.999.0.0 1.引言 1.1 目的 为了更好的指导部署与测试艺术升系统ng ...
随机推荐
- 关于Unity物理事件的执行顺序的最新理解
物体A: public class A:{ B b; void FixedUpdate(){ if(input.GetKeyDow(Keycode.I)) { collider.enable=fals ...
- MSSQL批量写入数据方案
近来有一个项目Feature需要有批量写入数据的场景,正巧整理资料发现自己以前也类似实现的项目,在重构的同时把相关资料做了一个简单的梳理,方便大家参考. 循环写入(简单粗暴,毕业设计就这样干的)(不推 ...
- C++：钻石继承与虚继承
QUESTION:什么是钻石继承? ANSWER:假设我们已经有了两个类Father1和Father2,他们都是类GrandFather的子类.现在又有一个新类Son,这个新类通过多继承机制对类Fat ...
- 审评（HelloWorld团队）
炸弹人:我觉得炸弹人的构想很不错,很像以前玩的qq堂,不过上课时讲的不够深入,我没有找到项目的思路,项目的介绍也很粗糙,后面说的目标很大,希望你可以实现,我觉得越多的功能,就意味着越多的工作量,总的来 ...
- SDN网路虚拟化平台概述
SDN网络虚拟化平台是介于物理网络拓扑以及控制器之间的中间层.虚拟化平台主要是完成物理网络拓扑到虚拟网络资源的映射,管理物理网络,并向租户提供相互隔离的虚拟网络. 为了实现网络虚拟化,虚拟化平台首先需 ...
- Visual Studio 2015的安装和简单的单元测试
何为单元测试 绝大多数的软件都是由多人合作完成的,大家的工作相互有依赖关系.软件的很多错误都来源于程序员对模块功能的误解.疏忽或不了解其他模块的变化.如何能让自己负责的模块功能的定义尽量的明确,模块内 ...
- 如何用Qt自动拷贝exe依赖的dll
QT生成的.exe文件不能运行的解决办法 之前的数独项目的GUI,当我的Qt项目生成exe时,由于缺少了相关的依赖dll文件,打开会一直报缺少依赖文件的错: 然后一开始我到安装的Qt文件夹里把这些有Q ...
- iptables之四表五链
iptables可谓是SA的看家本领,需要着重掌握.随着云计算的发展和普及,很多云厂商都提供类似安全组产品来修改机器防火墙. iptables概念 iptables只是Linux防火墙的管理工具而已. ...
- Spring之事务操作（注解）
事务操作步骤: <!-- 第一步.配置事务管理器 --> <bean id="transactionManager" class="org.spring ...
- Cannot read lifecycle mapping metadata for artifact org.apache.maven.plugins问题的解决
今天换了个maven仓库,结果新建maven工程的时候,忽然报错: Cannot read lifecycle mapping metadata for artifact org.apache.mav ...