日志分析与splunk浅谈
难易程度:★★★
阅读点:linux;python;web安全;日志分析;
文章来源:i春秋 关键字:网络渗透技术
前言
linux下的日志分析对企业来说非常重要,对我们分析pv或者入侵事件溯源都有很大的价值,今天来简单谈一谈日志分析方向的利器splunk,splunk应该是站在日志分析应用的顶端了,应用广泛功能强大,本文只能简单说说其安装以及应用。p.s:本文环境是自己虚拟机搭建的,不是生产环境,仅仅做演示。
一、Nginx + uWSGI + Python + Django
我是在CentOS 7下采用Nginx + uWSGI + Python + Django模式的部署,然后使用splunk监控/var/log/nginx/access.log 当然大家不一定非要这样做
这块的配置我就不多说了,大家百度一下
配置好后,开启服务:
:
cat下access.log,为了方便演示这里我先echo “” > access.log 清空了一下log,如果是生产环境下切记不要随意清空日志!:
二、利用python生成大量log内容
咱们这里只做演示,没有那么多访问量log里内容太少怎么办,写段简单的py来不停访问我们的web服务器,这样就会在nginx的access.log里留下日志信息了
#coding: utf-8
import requests
dirs = ["admin", "admin_log", "1.php", "hack.php", ""]
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}
for i in range(1,40):
for dir in dirs:
url = "http://127.0.0.1/" + dir
r = requests.get(url=url, headers=headers, timeout=4)
#print type(dir), type(headers)
print r.status_code
运行下:
看下日志条数:
密密麻麻都是日志:
三、splunk的搭建以及简单使用
官网随便注册个账户,下载下来tar包,当然视操作系统而定下载合适的deb(debian系列用)/rpm(Redhat系列用)也可以
然后
sudo tar -zxvf splunk-6.6.3-e21ee54bc796-Linux-x86_64.tgz //解压
sudo mv splunk /usr/local/ //移动到/usr/local
sudo ./splunk enable boot-start //按q键,选择y
sudo service splunk start //自启动splunk
我的安装挺顺畅,如果遇到问题百度吧。。
然后访问http://127.0.0.1:8000,就可以看到splunk的web页面了:
选择add data,然后添加下监控monitor:
监视器里有一些选项:
文件与目录:监视文件/文件夹
HTTP事件收集器:监视通过HTTP的数据流
TCP/UDP:监视服务端口
脚本:监控脚本
选择自己想要监控的类型,这里我监视一个文件夹/var/log,也可以指定日志文件/var/log/nginx/access.log
然后就来到下面的界面了,这时候我们之前生成日志内容的脚本就排上用场了,运行一下(splunk是实时监控的):
上方有搜索指令,右上角有图形化的访问统计情况等等等等。。
splunk是很强大的,笔者也是接触没多少时间,就先写到这里吧。。
四、总结
最近也确实挺忙的,所以写的也比较匆忙,如果有错误或是不严谨的地方万望表哥们指出。遇到了坑或者想了解有关于splunk的完整功能,大家可以去官方手册查看。
日志分析与splunk浅谈的更多相关文章
- 日志分析利器Splunk的搭建、使用、破解
博主对splunk的了解不多,博主的使用目的是为了同步,分析日志.当初的搭建也是为了公司申请牌照需要日志服务器分析日志,顺便自己也对这方面感兴趣就买了本书看了看搭建玩的,后来检查来了博主也给他们演示了 ...
- 浅谈ELK日志分析平台
作者:珂珂链接:https://zhuanlan.zhihu.com/p/22104361来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 小编的话 “技术干货”系列文章 ...
- 浅谈c#的三个高级参数ref out 和Params C#中is与as的区别分析 “登陆”与“登录”有何区别 经典SQL语句大全(绝对的经典)
浅谈c#的三个高级参数ref out 和Params c#的三个高级参数ref out 和Params 前言:在我们学习c#基础的时候,我们会学习到c#的三个高级的参数,分别是out .ref 和 ...
- 浅谈java性能分析
浅谈java性能分析,效能分析 在老师强烈的要求下做了效能分析,对上次写过的词频统计的程序进行分析以及改进. 对于效能分析:我个人很浅显的认为就是程序的运行效率,代码的执行效率等等. java做性能测 ...
- Splunk作为日志分析平台与Ossec进行联动
背景: Ossec安装后用了一段时间的analogi作为ossec的报警信息显示平台,但是查看报警分类信息. 以及相关图标展示等方面总有那么一点点的差强人意,难以分析.因此使用逼格高一点的splunk ...
- 日志收集以及分析:Splunk
转自:http://blog.163.com/guaiguai_family/blog/static/20078414520132181010189/ 写代码的人都知道日志很重要,机器不多的时候,查看 ...
- 【分析】浅谈C#中Control的Invoke与BeginInvoke在主副线程中的执行顺序和区别(SamWang)
[分析]浅谈C#中Control的Invoke与BeginInvoke在主副线程中的执行顺序和区别(SamWang) 今天无意中看到有关Invoke和BeginInvoke的一些资料,不太清楚它们之间 ...
- 浅谈Unity的渲染优化(1): 性能分析和瓶颈判断(上篇)
http://www.taidous.com/article-667-1.html 前言 首先,这个系列文章做个大致的介绍,题目"浅谈Unity",因为公司和国内大部分3D手游开发 ...
- 浅谈NLP 文本分类/情感分析 任务中的文本预处理工作
目录 浅谈NLP 文本分类/情感分析 任务中的文本预处理工作 前言 NLP相关的文本预处理 浅谈NLP 文本分类/情感分析 任务中的文本预处理工作 前言 之所以心血来潮想写这篇博客,是因为最近在关注N ...
随机推荐
- 8.13Oracle新建用户、角色,授权
oracle数据库的权限系统分为系统权限与对象权限.系统权限( database system privilege )可以让用户执行特定的命令集.例如,create table权限允许用户创建表,gr ...
- css心得体会
非块级元素 要使得其有长宽的效果 可以设置 margin 和 padding 块级元素 可以直接设置 width 和 height div标签 要使得你内部元素居中 可 ...
- java获取变量的类型
对于简单类型变量,是无法直接获得变量类型的://要想获取,必须自定义函数进行返回 对于包装类型变量,是可以直接获得的,变量名称.getClass().getName(); java中获取变量的类型可以 ...
- virtualenv 安装及使用[转]
一如既往,官方文档: https://virtualenv.pypa.io/en/latest/ 下载地址:https://pypi.python.org/pypi/virtualenv#down ...
- Spring mvc,jQuery和JSON数据交互
一.实验环境的搭建 1.Spring mvc jar. 导入spring mvc运行所需jar包.导入如下(有多余) 2.json的支持jar 3.加入jQuery. 选用jquery-3.0.0.m ...
- (最短路 Floyd)Cow Contest --POJ--3660
链接: http://poj.org/problem?id=3660 思路: 1. 1->2->3==1->3 2. 记录每次的比赛人员 3. 每个人只能跟他序号不同的人比赛, ...
- (匹配)Dolls --HDU --4160
链接: http://acm.hdu.edu.cn/showproblem.php?pid=4160 代码: #include<stdio.h> #include<string.h& ...
- java基础-day5
第05天 java基础知识 今日内容介绍 u 方法的概述及基本使用 u 方法的练习及注意事项 u 方法的重载及参数传递 u 方法的操作数组的练习 第1章 方法的概述及基本使用 1.1 方法定义格 ...
- 与数据库连接的页面增删改查 的easyui实现(主要是前端实现)
一.首先看一下最终实现的效果,上图 二.思路,主要是分两个文件实现,一个是页面显示文件:代码如下: <html> <head> <title>示例管理</ti ...
- CAS实战の简介
一.SSO简介 单点登录的英文名称为Single Sign-On,简写为SSO,它是一个用户认证的过程,允许用户一次性进行认证之后,就访问系统中不同的应用:而不需要访问每个应用时,都重新输入密码.IB ...