1 场景

应用使开发写的,但应用使部署再服务器上,而开发没有ssh登陆服务器的权限。

so,开发总是请运维查日志,下载日志。

so and so,运维要花很多时间帮开发去搞日志。

这是件很没意义的事,所以必须kill

2 解决思路

首先想到的就是大名鼎鼎的ELK,试行了一段时间,结果暴毙。暴毙原因:

a  日志的目的是分析错误,所以info级别的日志没用,需要debug级别的,而业务体量大,导致日志很大,在网络传输、存储、ELK管理集群硬件成本上都是不小的负担。

b  ELK有过滤后再存储的功能,但前提是日志标准化的推进。标准化没有推,所以回到a问题

c 开发人员习惯用文本编辑器(notepad++等)查日志,觉得这个更好用。

所以换成web服务,用django做web框架,saltstack做远程命令执行,在web表格中提交相关日志信息的关键字,把对应服务器上的日志下载到本地。解决了关键问题:

让开发自己去下日志吧~~~

ssh登录线上服务器是不可能滴~~~

step1-基本框架

使用django自带的form模块,在web的form中,使用post提交指令,指向具体的服务器和日志信息

然后在服务端调用saltstack,到目标服务器上执行日志的压缩命令,并且把压缩文件复制到指定目录

在nginx中配置localtion,可以下载到这个文件

使用django自动去下载这个文件

views:

注:xx代表业务参数

from django.shortcuts import render,HttpResponse
from django.http import FileResponse
from .forms import AddForm
import subprocess # Create your views here.
def LogServer(request):
if request.method == 'POST':
form = AddForm(request.POST) if form.is_valid(): # 获取参数
server = form.cleaned_data['server']
subtype = form.cleaned_data['xx']
logpath = form.cleaned_data['logpath'] # 执行命令
zip_cmd = 'cd %s;zip a.zip `ls | grep ^xx%d`' %(logpath,xx)
upload_cmd = 'cp %s;cp a.zip /data/download/' %logpath
salt_cmd = "salt %s cmd.run '%s;%s'" %(server,zip_cmd,upload_cmd)
subprocess.Popen(salt_cmd,stdout=subprocess.PIPE, shell=True) #返回文件给客户端
file_dir = '%s/a.zip' %logpath
file = open(file_dir, 'rb')
response = FileResponse(file)
response['Content-Type'] = 'application/octet-stream'
response['Content-Disposition'] = 'attachment;filename="a.zip"'
return response else:
form = AddForm()
return render(request, 'dosql.html', {'form': form})

  

step2-web端可选择应用

业务环境换到分布式上来,在单台服务器上,在web端可以下载指服务组件的日志

应用日志获取-web系统的更多相关文章

  1. 中小型WEB系统权限日志数据表设计

    中小型WEB系统权限日志数据表设计 watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxMjc1MDU3OA==/font/5a6L5L2T/fontsi ...

  2. cmd下windows批处理,获取当前系统时间,生成日志文件名

    示例: rdGetRTData_log%date:~0,4%%date:~5,2%%date:~8,2%.txt 生成格式: rdGetRTData_log20151103.txt 编写Windows ...

  3. 亿级Web系统搭建——单机到分布式集群

    当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压力带来问题,我们需要在Web系统架构层 ...

  4. 亿级Web系统搭建——单机到分布式集群[转]

    当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压力带来问题,我们需要在Web系统架构层 ...

  5. 【web】 亿级Web系统搭建——单机到分布式集群

      当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压力带来问题,我们需要在Web系统架 ...

  6. 很不错的文章---【问底】徐汉彬:亿级Web系统搭建——单机到分布式集群

    [导读]徐汉彬曾在阿里巴巴和腾讯从事4年多的技术研发工作,负责过日请求量过亿的Web系统升级与重构,目前在小满科技创业,从事SaaS服务技术建设. 大规模流量的网站架构,从来都是慢慢“成长”而来.而这 ...

  7. 徐汉彬:亿级Web系统搭建——单机到分布式集群(转载)

    文章转载自http://www.csdn.net/article/2014-11-06/2822529/1 当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的 ...

  8. 徐汉彬:亿级Web系统搭建—单机到分布式集群

    当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压力带来问题,我们需要在Web系统架构层 ...

  9. [转]亿级Web系统搭建:单机到分布式集群

    当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压力带来问题,我们需要在Web系统架构层 ...

随机推荐

  1. Xmpp学习之Asmack取经-asmack入门(一)

    1.XMPPConnection:它主要是用来创建一个跟XMPP服务端的Socket连接.它是与Jabber服务端的默认连接并且已经在RFC 3920中精确定义过了.示例如下: XMPPConnect ...

  2. Codeforces Round #369 (Div. 2) D. Directed Roads —— DFS找环 + 快速幂

    题目链接:http://codeforces.com/problemset/problem/711/D D. Directed Roads time limit per test 2 seconds ...

  3. ffplay 一些好玩的filter

    添加字幕:ffplay -vf drawtext="fontfile=arial.ttf: text='Test Text': x=100: y=300: \ fontsize=48: fo ...

  4. 确定mapkeeper使用的leverdb库路径

    目前libleveldb的a或so库有三个路径,/usr/lib, /usr/lib/x86_64-linux-gnu , /usr/local/lib 使用 ls -d -1 /usr/lib/*  ...

  5. 关于 josnp ,解决跨域问题

    JSONP是服务器与客户端跨源通信的常用方法.最大特点就是简单适用,老式浏览器全部支持,服务器不用做任何改造[使用jsonp的时候jsonp: "callback",callbac ...

  6. 端口扫描程序nmap使用手册

        其实还是建议看英文的man,对以后学习其他东西很有帮助的:) 摘要 nmap是一个网络探测和安全扫描程序,系统管理者和个人可以使用这个软件扫描大型的网络,获取那台主机正在运行以及提供什么服务等 ...

  7. windows切换到谷歌浏览器黑屏问题

    打开谷歌浏览器,找到右上角,点击设置,如下: 点击高级设置,如下: 关闭使用硬件加速模式,重新打开浏览器,即可.

  8. 51nod 1327 棋盘游戏——延迟决策的dp

    题目:http://www.51nod.com/onlineJudge/questionCode.html#!problemId=1327 因为一列填1个或0个(或0个!!!),而一行不知填多少个,所 ...

  9. oracle获取一段时间内所有的小时、天、月

    获取一段时间内所有的小时 ) sdate FROM dual CONNECT ; 获取一段时间内所有的天 sdate FROM dual CONNECT ; from user_objects whe ...

  10. shell函数(调用、返回值,返回值获取)

    Shell函数返回值,常用的两种方式:return,echo 1) return 语句shell函数的返回值,可以和其他语言的返回值一样,通过return语句返回.示例1: [devadmin@swa ...