1、前言
  最近工作需要对网站的关键字进行检测,找出敏感词。这个过程需要对报文进行收集、解码、检测和记录日志。当前只是简单实现功能,根据关键字进行简单的匹配,而没有进行关键字的语义分析。导致的结果就是JAVA可以匹配AV这个敏感关键字。报文检测这方面,开源项目已经做得非常好了,我所了解的有snort、suircata、bro,这三个都是非常优秀的IDS(入侵检测系统)。由于对bro没有深入了解,我们对比了snort和suricata,结合suricata的多线程和模块化,全面兼容snort规则,我们选用了suricata进行关键字检测。
  刚开始接触suricata的时候,压根不知道这个单词怎么发音,于是乎赶紧再词典上查一下。suircata是一款支持IDS、IPS和NSM的系统。关于suircata的详细介绍可以参考官网:https://suricata-ids.org/
备注:
  IDS:英文“Intrusion Detection Systems”的缩写,中文意思是“入侵检测系统”。依照一定的安全策略,通过软、硬件,对网络、系统的运行状况进行监视,尽可能发现各种攻击企图、攻击行为或者攻击结果,以保证网络系统资源的机密性、完整性和可用性。
  IPS是英文“Intrusion Prevention System”的缩写,中文意思是入侵防御系统。随着网络攻击技术的不断提高和网络安全漏洞的不断发现,传统防火墙技术加传统IDS的技术,已经无法应对一些安全威胁。在这种情况下,IPS技术应运而生,IPS技术可以深度感知并检测流经的数据流量,对恶意报文进行丢弃以阻断攻击,对滥用报文进行限流以保护网络带宽资源。
  NSM:英文“network security monitoring”的缩写,中文意思是“网络安全监控”。
2、总体架构
  报文检测系统通常四大部分,报文获取、报文解码、报文检测、日志记录;suricata不同的功能安装模块划分,一个模块的输出是另一个模块的输入,suricata通过线程将模块串联起来。

  接下来以IDS为例来说明suircata的线程与模块之间是如何连接起来的。
  首先注册runmods,运行方式指定suricata获取报文的方式,例如libpcap、netmap、af-packet等,代码如下图所示:

  然后再根据设置suricata的工作模式,找到对应获取报文的处理模块。suircata默认是通过af-packet mmap获取报文,然后调用获取报文模块当然入口函数,
入口函数中函数添加了解码模块、流处理模块(检测报文)、日志处理模块。通过slot链条安装注册顺序串联起来。每一个线程都包含一个slot的链表,每个结点都悬挂着不同的模块,程序执行的时候会遍历slot链表,按照加入链表的熟悉执行模块。

创建线程,并将模块添加到slot链表过程代码如下所示:

  1. /* create the threads */
  2. for (thread = ; thread < threads_count; thread++) {
  3. char tname[TM_THREAD_NAME_MAX];
  4. ThreadVars *tv = NULL;
  5. TmModule *tm_module = NULL;
  6. const char *visual_devname = LiveGetShortName(live_dev);
  7.  
  8. if (single_mode) {
  9. snprintf(tname, sizeof(tname), "%s#01-%s", thread_name, visual_devname);
  10. } else {
  11. snprintf(tname, sizeof(tname), "%s#%02d-%s", thread_name,
  12. thread+, visual_devname);
  13. }
  14. tv = TmThreadCreatePacketHandler(tname,
  15. "packetpool", "packetpool",
  16. "packetpool", "packetpool",
  17. "pktacqloop");
  18. if (tv == NULL) {
  19. SCLogError(SC_ERR_THREAD_CREATE, "TmThreadsCreate failed");
  20. exit(EXIT_FAILURE);
  21. }
  22.  
  23. //添加收包模块
  24. tm_module = TmModuleGetByName(recv_mod_name);
  25. if (tm_module == NULL) {
  26. SCLogError(SC_ERR_INVALID_VALUE, "TmModuleGetByName failed for %s", recv_mod_name);
  27. exit(EXIT_FAILURE);
  28. }
  29. TmSlotSetFuncAppend(tv, tm_module, aconf);
  30. //添加解包模块
  31. tm_module = TmModuleGetByName(decode_mod_name);
  32. if (tm_module == NULL) {
  33. SCLogError(SC_ERR_INVALID_VALUE, "TmModuleGetByName %s failed", decode_mod_name);
  34. exit(EXIT_FAILURE);
  35. }
  36. TmSlotSetFuncAppend(tv, tm_module, NULL);
  37. //添加流处理模块,用于检测报文
  38. tm_module = TmModuleGetByName("FlowWorker");
  39. if (tm_module == NULL) {
  40. SCLogError(SC_ERR_RUNMODE, "TmModuleGetByName for FlowWorker failed");
  41. exit(EXIT_FAILURE);
  42. }
  43. TmSlotSetFuncAppend(tv, tm_module, NULL);
  44. //添加阻断模块
  45. tm_module = TmModuleGetByName("RespondReject");
  46. if (tm_module == NULL) {
  47. SCLogError(SC_ERR_RUNMODE, "TmModuleGetByName RespondReject failed");
  48. exit(EXIT_FAILURE);
  49. }
  50. TmSlotSetFuncAppend(tv, tm_module, NULL);
  51. //添加日志处理模块
  52. SetupOutputs(tv);
  53.  
  54. TmThreadSetCPU(tv, WORKER_CPU_SET);
  55.  
  56. if (TmThreadSpawn(tv) != TM_ECODE_OK) {
  57. SCLogError(SC_ERR_THREAD_SPAWN, "TmThreadSpawn failed");
  58. exit(EXIT_FAILURE);
  59. }
  60. }

在AF-PACKET工作模式下提供三种工作方式:

关于工作方式可以参考:http://blog.csdn.net/firedb/article/details/7581853。
目前我只用过worker工作模式,整个流程通过一个线程来处理。

3、总结

  这是目前对suricata的一个整体的认识,接下来认真研究每个模块之间是如何交互。需要深入学习suricata是如何收集报文,如何将收集的报文传递给解码模块,解码模块做哪些工作,输出是什么。

suricata各模块功能:
  Receive:从NFQUEUE中接收数据包,并将封装在Packet结构中,然后放入下一个缓冲区。
  Decode:对数据包进行解码,主要是对数据包头部信息进行分析并保存在Packet结构中。
  StreamTCP:对数据包进行TCP流重组。
  Detect:检测数据包是否包含入侵行为。
  Verdict:对检测后的数据包进行判定,并将判定结果告诉内核(通过ipq_set_verdict函数),方便内核对数据包进行接收、丢弃等处理。
  RespondReject:通过libnet对那些要执行Reject操作的数据包进行相应的回应。

suricata学习笔记1--初步认识的更多相关文章

  1. Android_Mars学习笔记_S01_001activity初步

    一.activity初步 1.程序启动会先读配置文件AndroidManifest.xml找activity 2.activity会在onCreate方法中读取activity_main.xml文件, ...

  2. Python学习笔记--语音处理初步

    语音处理最基础的部分就是如何对音频文件进行处理. 声音的物理意义:声音是一种纵波,纵波是质点的振动方向与传播方向同轴的波.如敲锣时,锣的振动方向与波的传播方向就是一致的,所以声波是纵波.纵波是波动的一 ...

  3. 0034 Java学习笔记-反射-初步2-操作对象

    通过反射创建对象 通过反射创建对象有两种方式,一种通过Class对象的newInstance()方法,一种是获取到Class对象的Constructor后,再调用newInstance()方法,前者要 ...

  4. 0033 Java学习笔记-反射-初步1

    先看看通过反射能干嘛 示例:修改对象的private实例变量 package testpack; import java.lang.reflect.Field; public class Test1 ...

  5. HBASE学习笔记-初步印象

    HBASE概念: HBASE是一个分布式架构的数据库,通过对数据进行多层的分块打散储存.从而改写传统数据库的储存能力和读取速度. HBASE的集群服务器: HBASE的集群主要分为Zookeeper集 ...

  6. ANDROID_MARS学习笔记_S01_003layout初步

    一.layout介绍 二.测试linear_layout1.activity_main.xml <?xml version="1.0" encoding="utf- ...

  7. 学习笔记<4>初步控件布局

    一.控件布局基本概念 指控制控件在Activity当中的位置.大小.颜色以及其他控件样式属性 二.控件布局两种方法 1.使用布局文件完成控件布局(eclipse可视化拖拽控件实现) 2.在JAVA代码 ...

  8. Oracle学习笔记_01_SQL初步

    1.分类 SQL语句分为以下三种类型: DML: Data Manipulation Language        数据操纵语言       DDL: Data Definition Languag ...

  9. 0035 Java学习笔记-注解

    什么是注解 注解可以看作类的第6大要素(成员变量.构造器.方法.代码块.内部类) 注解有点像修饰符,可以修饰一些程序要素:类.接口.变量.方法.局部变量等等 注解要和对应的配套工具(APT:Annot ...

随机推荐

  1. ARM Cortex Debug Port Access Port DP AP JTAG-DP SW-DP SWJ-DP JTAG-AP MEM-AP

  2. Android——BitMap(位图)相关知识总结贴

    Android中文API(136) —— Bitmap http://www.apkbus.com/android-54644-1-1.html Android 4.0 r1 API—Bitmap(S ...

  3. 《STL系列》之vector原理及实现

    最近忙得蛋疼,但还是想写点属于自己的东西.也不知道写点啥,最后决定试着自己实现STL中常用的几个集合,一来加深自己对STL的理解,二来看看自己是否有这个能力实现.实现目标就是:1能和STL兼容:2最大 ...

  4. RabbitMQ的安装使用

    1.下载安装 Rabbit MQ 是建立在强大的Erlang OTP平台上,因此安装RabbitMQ之前要先安装Erlang. erlang:http://www.erlang.org/downloa ...

  5. Hadoop学习-生态体系(ecosystem)概览

    0. 大背景 全球No.1搜索引擎公司谷歌(Google)面临每天海量搜索引擎数据的问题,经过长时间的实践积累, 谷歌形成了自己的大数据框架,但是并没有开源,而是发表了一篇论文,阐述了自己的思想,在论 ...

  6. GPUImage 内置滤镜解析

    #pragmamark - 调整颜色 Handle Color GPUImageBrightnessFilter //亮度GPUImageExposureFilter //曝光GPUImageCont ...

  7. C#导出Excel,并且设置Excel单元格格式,合并单元格.

    注:要添加COM组件 Microsoft Excel 11.0 Object Library  引用. 具体代码如下: using System; using System.Collections.G ...

  8. 并行编程多线程之Parallel

    1.简介 随着多核时代的到来,并行开发越来越展示出它的强大威力!使用并行程序,充分的利用系统资源,提高程序的性能.在.net 4.0中,微软给我们提供了一个新的命名空间:System.Threadin ...

  9. [LeetCode] Best Meeting Point

    Problem Description: A group of two or more people wants to meet and minimize the total travel dista ...

  10. iOS SDK Release Notes for iOS 9 iOS9 SDK 版本更新说明

    Important: This is a preliminary document for an API or technology in development. Apple is supplyin ...