Prepare: 安装geoip-api-c,确保/usr/include/GeoIP.h存在: 源码编译安装Heka (容易出现问题): 下载GeoLiteCity.dat数据库. 配置文件举例: 1 [accesslogs] 2 type = "LogstreamerInput" 3 log_directory = "/home/dill/workspace/test/log/" 4 file_match = 'json\.log' 5 decoder = &q…

CMake 是一个跨平台的自动化建构系统,它使用一个名为 CMakeLists.txt 的文件来描述构建过程,可以产生标准的构建文件.   CMakeLists.txt 的语法比较简单,由命令.注释和空格组成, 其中命令是不区分大小写的, 符号"#"后面的内容被认为是注释.命令由命令名称.小括号和参数组成,参数之间使用空格进行间隔.   常见的命令如下: SET指令 用来显式的定义变量的 语法: SET(VAR[VALUE] [CACHE TYPE DOCSTRING [FORCE]]…

基于Heka,ElasticSearch和Kibana的分布式后端日志架构 目前主流的后端日志都采用的标准的elk模式(Elasticsearch,Logstash,Kinaba),分别负责日志存储,收集和日志可视化. 不过介于我们的日志文件多样,分布在各个不同的服务器,各种不同的日志,为了日后方便二次开发定制.所以采用了Mozilla仿照Logstash使用golang开源实现的Heka. 整体架构图 采用Heka,ElasticSearch和Kibana后的整体架构如下图所示 Heka篇 简…

Heka 的参数配置跟Elasticsearch的参数没有关系,Heka只负责按照配置发送数据,所以索引的优化主要在 Elaticsearch端来完成. 下面是Elasticsearch的一些相关概念和知识点: 一些概念 在Elasticsearch中,文档归属于一种类型(type),而这些类型存在于索引(index)中,我们可以画一些简单的对比图来类比传统关系型数据库: Relational DB -> Databases -> Tables -> Rows -> Columns…

重置Heka执行进度 heka的进度配置文件存在配置项 base_dir 设置的目录,只需要删除这个文件夹下面的内容,就可以完全重置heka的进度. base_dir 配置项默认是在下面目录: '/var/cache/hekad'  或'c:\var\cache\hekad' 参考:http://hekad.readthedocs.org/en/latest/getting_started.html#global-configuration  删除Elasticsearch数据 我们在调整导入策…

Heka 使用的是 TOML 格式的配置文件, 有关 golang 加载 TOML 配置文件的技术请参看:  http://www.cnblogs.com/ghj1976/p/4082323.html  Heka用的 读取 TOML 文件的Go库是: https://github.com/bbangert/toml 虽然跟上面文章的不是一个,但是基本差不多.   我们在hekad主进程的配置文件加载的逻辑如下: 在启动时,先读取hekad部分的配置内容,用于hekad的启动. 然后再去读其他配置…

技术人员学习都是从简单例子开始的, Heka的应用也是从简单开始的.   需求: 监控一个日志文件的内容, 在标准输出显示出来.   操作步骤: 使用下载好或者编译好的 heka 已经编译好的 release 版本可以在下面地址下载: https://github.com/mozilla-services/heka/releases 注意: 需要把编译后产生的 lib 文件(dll文件) 放在 system32 目录下,否则会报下面错误:     准备一个待监控的log文件, 我这里是放在 D:…

Heka是Mozilla开源的,基于Go语言实现的,插件式log收集和分析系统. 已经编译好的 release 版本可以在下面地址下载: https://github.com/mozilla-services/heka/releases    如果我们想自行编译,以windows下为例,如下:   下载源码: C:\>go get github.com/mozilla-services/heka package github.com/mozilla-services/heka         i…

1:下载adnroid sdk安装包 官方下载地址无法打开,没有vpn,使用下面这个地址下载,地址:http://www.android-studio.org/…

以前用Eclicps 用习惯了现在 想学学 用Android Studio 两天的钻研终于 在我电脑上装了一个Android Studio 并完成了AndroidAnnotations 的配置. AndroidAnnotations是一个能够让你快速进行Android开发的开源框架,它能让你专注于真正重要的地方.使代码更加精简,使项目更加容易维护,它的目标就是“Fast Android Development.Easy maintainance”. 说白了 就是可以少写很多代码,哈哈. Andr…