一.目的 将nginx 日志通过普通用户利用rsync公钥认证的方式实时同步到本地服务器上,之后使用elk程序进行处理. 二.遇到问题及解决方法思路 问题1.文件权限:nginx 的日志默认权限如下: [root@elk ~]# ll /var/log/nginx/access.log -rw-r----- nginx adm Sep : /var/log/nginx/access.log 我新建的是普通用户,标准的用户组,用rsync同步时,报个错误,说是没有该文件的权限 receiving…

近期,由于我们的阿里前端服务器频频受到恶意的流量攻击,导致前端NGINX进入黑洞而无法正常访问公司网站. 按之前的预计方法,采用加速乐及备用全配置前端的作法,将恶意短时流量攻击的损失时间降到最短.现将C这台机用作全配置的NGINX前端,A和B前端的任何NGINX配置都会通过RSYNC同步到C这台机器上. 部署的思路如下: 规范A和B的nginx配置目录(用include conf.d/*来实现),在这两个服务器上配置一个rsync的服务端进程,然后,在C上每两分钟运行rsync同步进程,及时的将…

1.此处用的是增量同步 #!/bin/bash rm -rf /var/log/nginx/access.log.*.* local_host="`hostname --i`" aws s3 sync /var/log/nginx/ s3://cjtt-nginx/access/`date +%Y-%m-%d`"__"$local_host/…

---------------------------------------- 博文作者:迦壹 博客地址:Nginx日志导入到Hive,同步Hbase,设置RowKey为autoincrement(ID自增长) 转载声明:可以转载, 但必须以超链接形式标 明文章原始出处和作者信息及版权声明,谢谢合作! ---------------------------------------   目录: 一.Nginx的相关配置,以及测试数据 二.Hadoop中创建使用目录 三.Hive的日志表创建,并同…

logrotate   -  rotates,  compresses,  and    mails system logs 日志轮转 rotate 日志切割 轮转   切割   备份   归档 常见的默认已经定义轮转的日志有: /var/log/messages /var/log/cron /var/log/boot.log /var/log/maillog /var/log/secure vim /etc/logrotate.conf --配置文件 # see "man logrotate&…

目录[-] 1. rsync 同步的大致思路 2. rsync的安装 3. rsync的配置 4. rsync的基本操作 服务器端启动 注2. 实时同步 注3. rsync通过linux防火墙 公司网站 有两台服务器 A.B,做了动静分离,A上为静态服务器安装有nginx,B为Tomcat容器.访问时,通过A的nginx 做反向代理,静态文件http请求,目录statics直接访问A服务器上的静态文件. 但我们由于开发的时候 项目 java代码和静态文件都在一起,只发布到 B上,然后将静态文件目…

Rsync同步部署web服务端配置 1,参数详解: -v, --verbose 详细模式输出. -q, --quiet 精简输出模式. -c, --checksum 打开校验开关,强制对文件传输进行校验. -a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD. -r, --recursive 对子目录以递归模式处理. -R, --relative 使用相对路径信息. -b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老…

在我们线上的生产环境中要备份的东西很多,各种服务日志.数据库数据.用户上传数据.代码等等.用 JuiceFS 来备份可以节省你大量时间,我们会围绕这个主题写一系列的教程,整理出一套最佳实践,方便大家. 今天第一篇就写写最常用的 Nginx 日志备份. 如何用 JuiceFS 备份 Nginx 日志 生产环境中的 Nginx 经常作为反向代理,配置多台,用来对接后面的各种应用服务.日志主要有两类,访问日志 (access.log) 和错误日志 (error.log). 日志是分散在每个 Nginx…

作为一个运维工程师,经常可能会面对几十台.几百台甚至上千台服务器,除了批量操作外,环境同步.数据同步也是必不可少的技能.说到“同步”,不得不提的利器就是rsync. 下面结合本人近几年运维工作中对这一工具使用的经验,简单在此梳理下: rsync不但可以在本机进行文件同步,也可以作为远程同步工具.rsync+inotify实时同步方案部署,请参考:http://www.cnblogs.com/kevingrace/p/6001252.html rsync同步命令中常用的几个参数说明:-a, --a…

rsync同步工具 1.rsync介绍 rsync是一款开源的.快速的.多功能的.可实现全量及增量的本地或远程数据同步备份的优秀工具.rsync软件适用于unix/linux/windows等多种操作系统平台. rsync和ssh带的scp命令比较相似,但又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以进行增量拷贝.当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令,但同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝.利用…