使用SPLUNK进行简单Threat Hunting

通过订阅网上公开的恶意ip库（威胁情报），与SIEM平台中网络流量日志进行匹配，获得安全事件告警。

比如，这里有一个malware urls数据下载的网站，每天更新一次：

https://urlhaus.abuse.ch/browse/

下载urlhaus里恶意url数据，https://urlhaus.abuse.ch/downloads/text/, 稍微整理一下，做成一个csv格式的文件，方便导入splunk:

添加nslookup file:

Settings >> Lookups » Lookup table files » Add new

用rest command查看lookup file 添加是否正确：

| inputlookup myiptest.csv

假设现在有ids日志，此日志包含经过ids的内外网连接，其中src_ip为内网ip，dest_ip为外网目的ip:

sourcetype=ids_log_1 |table src_ip,dest_ip

现在对ids的dest_ip字段和myiptest.csv的threatdomain 字段进行匹配：

sourcetype=ids_log_1 [| inputlookup myiptest.csv | rename threatdomain as dest_ip | table dest_ip]

命中两条记录:

现在完成一次搜索，然后继续将这个流程自动化，这里涉及到Splunk Summary Index的概念:

Summary index的工作机制其实很简单，它本质上和其他索引没有区别，只不过里面存储的数据是定期运行的saved search的统计结果。通过定期运行的saved search，SPLUNK可以将一个较短时间间隔特定事件的统计结果存储到summary index中，通过合理的统计时段和搜索运行计划配置，所有时间段的事件统计结果都将无一疏漏地纪录下来。这样在需要统计过去一年这样长时段的事件时，通过summary index就可以很快速的把所有统计结果汇总，从而得到最终的结果。这正所谓积硅步以致千里，聚细流以成江海。

From http://splunk.10data.com/如何使用summary-index-加速搜索和生成报表/

创建一个summary index：

添加一个saved search, 可以60分钟执行一次，每次执行60分钟到now的数据：

Settings>>Searches, reports, and alerts » Add new

http://localhost:8000/en-US/manager/search/data/indexes/_new

选择使用summary indexing, 写入刚才创建的security_event_hub index里面：

保存完成，坐等安全告警：

index="security_event_hub"

最后可以将安全告警推送到工单系统，新的告警在工单系统中解决掉，这就完成一整个Use Case流程。

附代码举例:

Splunk Rest api 添加Lookup file :

#!/usr/bin/python -u

import urllib
import httplib2
from xml.dom import minidom
import time
import json

# The same python implementation for curl function
'''
import requests
from xml.dom import minidom
userName = 'admin'
password = 'xiaoxiaoleo'
baseurl = '127.0.0.1:8089'

session = requests.Session()
session.auth = (userName, password)

#auth = session.post('https://' + baseurl, verify=False)
data = {'username':userName, 'password':password}
req = session.post('https://' + baseurl + '/services/auth/login', data=data, verify=False)
session_key = minidom.parseString(req.text).getElementsByTagName('sessionKey')[0].childNodes[0].nodeValue

print(session_key)
headers = {"Content-Type": "application/xml", 'Authorization': 'Splunk %s' % session_key}

def addlookup():
    data = {'name': 'haha.csv','eai:data' : 'C:\\Program Files\\Splunk\\var\\run\\splunk\\lookup_tmp\\abuse_20190215T1418.csv'}
    req = requests.post('https://127.0.0.1:8089/servicesNS/nobody/search/data/lookup-table-files/geo_attr_us_states.csv', headers=headers, data=data, verify=False)
    print(req.text)

if __name__ == '__main__':
    addlookup()

获取urlhaus.abuse.ch的ip地址列表并写入csv:

import json
import requests
from datetime import datetime, timedelta

search_command = ''

def get_abusechrul():
    domain_list = []
    url_list = []
    req = requests.get('https://urlhaus.abuse.ch/downloads/text/')

    body = req.text
    for i in body.split('\r\n'):
        if i.startswith('#'):
            continue
        domain = i.split("//")[-1].split("/")[0].split(':')[0]
        url = i.replace("http://", "")
        url = url.replace("https://", "")
        url_list.append(url)
        domain_list.append(domain)
    return domain_list, url_list

def generate_csv(source_name, domain_list, url_list):
    now = datetime.utcnow() + timedelta(hours=8)
    timestamp = now.strftime('%Y%m%dT%H%M.csv')
    filename = '%s_%s' % (source_name, timestamp)
    with open(filename, "wb") as csv_file:
        csv_file.write('threatdomain' + '\n')
        csv_file.writelines('91.189.91.26' + '\n')
        for line in domain_list:
            csv_file.write(line + '\n')

if __name__ == '__main__':
    domain_list, url_list = get_abusechrul()
    generate_csv('abuse', domain_list,url_list)
    #print cmd1