DB目录总大小：2468MB

所有buckets的meta信息在.bucketManifest文件里：

id,path,"raw_size","event_count","host_count","source_count","sourcetype_count","size_on_disk",modtime,"frozen_in_cluster","origin_site","tsidx_minified","journal_size"
"main~0~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481515116_1480695302_0",18823156,110730,1,9,4,13713408,1481524286,0,"",0,3134751
"main~1~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481537316_1481532688_1",2310579,21809,1,2,4,258048,1481537634,0,"",0,16228
"main~2~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481547598_1481539988_2",159000000,1500000,1,1,1,14442496,1481548381,0,"",0,1087536
"main~3~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481617470_1481613403_3",116995120,251105,1,1,1,81010688,1481619151,0,"",0,48120454
"main~4~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481623046_1481619179_4",229333894,502002,1,1,1,126242816,1481630588,0,"",0,92507094
"main~5~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481632042_1481631975_5",931797403,501000,1,1,1,457887744,1481679128,0,"",0,344072139
"main~6~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481679220_1481679167_6",814813719,250000,1,1,1,388202496,1481709892,0,"",0,295944721
"main~7~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481714661_1481713606_7",3259545592,1000000,1,1,1,1505009664,1482572307,0,"",0,1183963998

bone@PEK1000074003:~/splunk/var/lib/splunk/defaultdb/db$ du -sm *|sort -n
1 CreationTime
1 db_1481537316_1481532688_1
1 GlobalMetaData
14 db_1481515116_1480695302_0
14 db_1481547598_1481539988_2
78 db_1481617470_1481613403_3
121 db_1481623046_1481619179_4
371 db_1481679220_1481679167_6
437 db_1481632042_1481631975_5
1436 db_1481714661_1481713606_7

bone@PEK1000074003:~/splunk/var/lib/splunk/defaultdb/db$ du -sm */rawdata/*.gz | sort -n
1 db_1481537316_1481532688_1/rawdata/journal.gz
2 db_1481547598_1481539988_2/rawdata/journal.gz
3 db_1481515116_1480695302_0/rawdata/journal.gz
46 db_1481617470_1481613403_3/rawdata/journal.gz
89 db_1481623046_1481619179_4/rawdata/journal.gz
283 db_1481679220_1481679167_6/rawdata/journal.gz
329 db_1481632042_1481631975_5/rawdata/journal.gz
1131 db_1481714661_1481713606_7/rawdata/journal.gz

bone@PEK1000074003:~/splunk/var/lib/splunk/defaultdb/db$ du -sm */*.tsidx
8 db_1481515116_1480695302_0/1481365442-1480695302-4858607897345416099.tsidx
1 db_1481515116_1480695302_0/1481515116-1481414314-4858898005396109713.tsidx
1 db_1481537316_1481532688_1/1481537316-1481532688-4860330036580586334.tsidx
12 db_1481547598_1481539988_2/1481546898-1481539988-4861034339343340051.tsidx
2 db_1481547598_1481539988_2/1481547534-1481546898-4860978970915735908.tsidx
1 db_1481547598_1481539988_2/1481547598-1481547534-4861034307055557201.tsidx
26 db_1481617470_1481613403_3/1481617470-1481613403-4865563935922009229.tsidx
3 db_1481617470_1481613403_3/1481617470-1481617458-4865672332245509206.tsidx
32 db_1481623046_1481619179_4/1481619389-1481619179-4865689731273799190.tsidx
1 db_1481623046_1481619179_4/1481623046-1481621223-4866421882884289834.tsidx
88 db_1481632042_1481631975_5/1481632034-1481631975-4866516891972181121.tsidx
17 db_1481632042_1481631975_5/1481632042-1481632011-4866518975138178595.tsidx
74 db_1481679220_1481679167_6/1481679215-1481679167-4869608890403912436.tsidx
11 db_1481679220_1481679167_6/1481679220-1481679210-4871619145803575804.tsidx
1 db_1481679220_1481679167_6/1481679220-1481679220-4871619114239737472.tsidx
291 db_1481714661_1481713606_7/1481714656-1481713606-4928138373543453009.tsidx
10 db_1481714661_1481713606_7/1481714661-1481714639-4928137267800912859.tsidx

发现其索引文件占用很小约总大小的1/4 而数据文件占用了3/4

再测试了下：

而通过看rawdata数据文件可知，它是直接将日志数据append到一个文件 对该文件采用gz压缩方式来降低存储空间

测试说明：splunk6.5版本，数据使用500次批量插入，每批数据都不同，大小500条，每条数据50个字段，对应的字符串使用长度为1-10个单词随机生成！

slplunk原始数据和索引数据大小比较的更多相关文章

  1. 查询mysql数据库表的信息（表大小、数据大小、索引大小）

    select * from information_schema.TABLES where information_schema.TABLES.TABLE_SCHEMA='databasename' ...

  2. Mysql表大小数据大小索引大小查询

    SELECT CONCAT(ROUND((INDEX_LENGTH+DATA_LENGTH)/1024/1024, 2), 'MB') AS '总大小',CONCAT(ROUND(DATA_LENGT ...

  3. Mysql大概1700W大表删除1000W左右数据，发现数据大小和索引大小并没有减少思考

    MySQL删除操作其实是假删除 因为近期在重构优化一个业务的时候 发现有一张表(send_log)数据量将近1700W 左右  占用数据大小17G,索引18G左右  而我们的核心应用在使用的时候 会去 ...

  4. mysql查询表的数据大小

    在需要备份数据库里面的数据时,我们需要知道数据库占用了多少磁盘大小,可以通过一些sql语句查询到整个数据库的容量,也可以单独查看表所占容量. 1.要查询表所占的容量,就是把表的数据和索引加起来就可以了 ...

  5. [转] MySQL 查询表数据大小的总结

    一:关于mysql表数据大小 我们知道mysql存储数据文件一般使用表空间存储 当mysql使用innodb存储引擎的时候,mysql使用表存储数据分为共享表空间和独享表空间两种方式 ·共享表空间:I ...

  6. 企业级搜索引擎Solr 第三章 索引数据（Indexing Data）[1]

    转载:http://quweiprotoss.wap.blog.163.com/ Push data to Solr or have Solr pull it 尽管一个应用通过HTTP方式与Solr通 ...

  7. ES 18 - (底层原理) Elasticsearch写入索引数据的过程 以及优化写入过程

    目录 1 Lucene操作document的流程 1.1 添加document的流程 1.2 删除document的流程 2 优化写入流程 - 实现近实时搜索 2.1 流程的改进思路 2.2 设置re ...

  8. MySQL 性能优化--优化数据库结构之优化数据大小

    MySQL性能优化--优化数据库结构之优化数据大小   By:授客  QQ:1033553122 尽量减少表占用的磁盘空间.通常,执行查询期间处理表数据时,小表占用更少的内存. 表列 l   尽可能使 ...

  9. 企业级搜索引擎Solr 第三章 索引数据（Indexing Data）[1] (转)

    Index Data Author: David Smiley Eric Pugh 译者:Koala++ / 屈伟 在这一章中我们将了解如何将数据传入Solr.这个传入的过程称之为索引,尽管中间还包含 ...

随机推荐

  1. C#中的属性-Property

    C#的属性一直都有用,但具体了解的不是很深,而且一些注意事项也没有太在意过,糊里糊涂的用着.这两天看了C#的书专门学习了一下属性,这才知道,原来属性也有这么多东西~ ~今天记录一下,算是对学习的一个检 ...

  2. 华三F100系列防火墙 、华为USG6300系列防火 GRE 隧道配置

    GRE概述: 通用路由封装(GRE: Generic Routing Encapsulation)是通用路由封装协议,可以对某些网络层协议的数据报进行封装,使这些被封装的数据报能够在IPV4网络中传输 ...

  3. NDK学习笔记-C语言

    本文简要回顾了C语言的一些注意事项和理解细节,不再赘述C语言的所有语法 头文件 头文件作为引入文件,在编译的时候,加载到源代码,参与编译 在VS2013中可以看到,当引入头文件时候,只能看到函数的声明 ...

  4. kafka原理和操作

    参考: 原理: https://www.cnblogs.com/yinzhengjie/p/9780976.html 常用配置参数: https://www.cnblogs.com/yinzhengj ...

  5. [CF544D]Destroying Roads_最短路_bfs

    D. Destroying Roads 题目大意: In some country there are exactly n cities and m bidirectional roads conne ...

  6. 什么是时序时空数据库TSDB

    时序时空数据库(Time Series & Spatial Temporal Database,简称 TSDB)是一种高性能.低成本.稳定可靠的在线时序时空数据库服务,提供高效读写.高压缩比存 ...

  7. SQL SERVER 数据有CHAR(10),CHAR(13),CHAR(9)隐藏字符

    原文:SQL SERVER 数据有CHAR(10),CHAR(13),CHAR(9)隐藏字符 版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/Givi ...

  8. 有关java5以后的线程

    创建线程的方式 方式一 继承于Thread类 /** * 多线程的创建,方式一:继承于Thread类 * 1. 创建一个继承于Thread类的子类 * 2. 重写Thread类的run() --> ...

  9. php网络请求

    get请求 /** * get请求 * @param $url,请求地址 * @return bool|string */ function getRequest($url){ $headerArra ...

  10. django channels

    django channels django channels 是django支持websocket的一个模块. 1. 安装 `pip3 install channels` 2. 快速上手 2.1 在 ...