Heka 使用的是 TOML 格式的配置文件, 有关 golang 加载 TOML 配置文件的技术请参看:  http://www.cnblogs.com/ghj1976/p/4082323.html 

Heka用的 读取 TOML 文件的Go库是: https://github.com/bbangert/toml 虽然跟上面文章的不是一个,但是基本差不多。

 

我们在hekad主进程的配置文件加载的逻辑如下:

  1. 在启动时,先读取hekad部分的配置内容,用于hekad的启动。
  2. 然后再去读其他配置节,把heka的管道启动起来。

github.com\mozilla-services\heka\cmd\hekad\main.go 文件中,我们摘要核心代码如下,就可以看到这个逻辑:

这里删除了一些跟这个逻辑过程无关的代码,方便阅读。

加载 hekad 部分配置

代码实现如下, 注意,这里处理了配置文件内置支持环境变量的功能。

 

对环境变量支持的文档如下:

Using Environment Variables

If you wish to use environmental variables in your config files as a way to configure values, you can simply use %ENV[VARIABLE_NAME] and the text will be replaced with the value of the environmental variable VARIABLE_NAME.

Example:

[AMQPInput]
url = "amqp://%ENV[USER]:%ENV[PASSWORD]@rabbitmq/"
exchange = "testout"
exchangeType = "fanout"

 

加载插件相关的配置逻辑

加载插件配置的逻辑主要是下面代码:

 

每个Heka的TOML配置节,对应的实体类如下:

// The TOML spec for plugin configuration options that will be pulled out by
// Heka itself before the config is passed to the Plugin.Init method. Not all
// options apply to all plugin types.
type PluginGlobals struct {
Typ string `toml:"type"`
Ticker uint `toml:"ticker_interval"`
Matcher string `toml:"message_matcher"` // Filter and Output only.
Signer string `toml:"message_signer"` // Filter and Output only.
Retries RetryOptions
Encoder string // Output only.
UseFraming *bool `toml:"use_framing"` // Output only.
CanExit *bool `toml:"can_exit"`
}

对应的解析时的逻辑如下:

 

func (self *PipelineConfig) loadPluginGlobals(section *ConfigSection) (err error) {

    // Set up default retry policy.

    pGlobals := new(PluginGlobals)

    pGlobals.Retries = RetryOptions{

        MaxDelay:   "30s",

        Delay:      "250ms",

        MaxRetries: -1,

    }

    if err = toml.PrimitiveDecode(section.tomlSection, pGlobals); err != nil {

        err = fmt.Errorf("Unable to decode config for plugin '%s': %s",

            section.name, err)

        return

    }

    if pGlobals.Typ == "" {

        pGlobals.Typ = section.name

    }

    if _, ok := AvailablePlugins[pGlobals.Typ]; !ok {

        err = fmt.Errorf("No registered plugin type: %s", pGlobals.Typ)

    } else {

        section.globals = pGlobals

    }

    return

}

补充说明如下:

 

插件的类型有5种,都是在名字或者type上可以看出来的, 对应的判断类型的代码如下:

var PluginTypeRegex = regexp.MustCompile("(Decoder|Encoder|Filter|Input|Output)$")

func getPluginCategory(pluginType string) string {

    pluginCats := PluginTypeRegex.FindStringSubmatch(pluginType)

    if len(pluginCats) < 2 {

        return ""

    }

    return pluginCats[1]

}

加载配置文件这里,代码在 LoadFromConfigFile 函数, 这里其实就主要做了上面两个事情,外加不同类型插件的特殊处理。

// Loads all plugin configuration from a TOML configuration file. The

// PipelineConfig should be already initialized via the Init function before

// this method is called.

func (self *PipelineConfig) LoadFromConfigFile(filename string) (err error) {

    var configFile ConfigFile

    // 更新配置文件中,自定义变量(环境变量)

    contents, err := ReplaceEnvsFile(filename)

    if err != nil {

        return err

    }

    // TOML 解析成 configFile

    if _, err = toml.Decode(contents, &configFile); err != nil {

        return fmt.Errorf("Error decoding config file: %s", err)

    }

    var (

        errcnt              uint

        protobufDRegistered bool

        protobufERegistered bool

    )

    sectionsByCategory := make(map[string][]*ConfigSection)

    // Load all the plugin globals and file them by category.

    for name, conf := range configFile {

        if name == HEKA_DAEMON {

            continue

        }

        log.Printf("Pre-loading: [%s]\n", name)

        section := &ConfigSection{

            name:        name,

            tomlSection: conf,

        }

        // 加载插件配置文件, 这里面做了插件注册的检查

        if err = self.loadPluginGlobals(section); err != nil {

            self.log(err.Error())

            errcnt++

            continue

        }

        // 获取插件的类型

        category := getPluginCategory(section.globals.Typ)

        if category == "" {

            self.log(fmt.Sprintf("Type doesn't contain valid plugin name: %s\n",

                section.globals.Typ))

            errcnt++

            continue

        }

        // 特殊插件类型的处理

        section.category = category

        if section.globals.Typ == "MultiDecoder" {

            // Special case MultiDecoders so we can make sure they get

            // registered *after* all possible subdecoders.

            sectionsByCategory["MultiDecoder"] = append(sectionsByCategory["MultiDecoder"],

                section)

        } else {

            sectionsByCategory[category] = append(sectionsByCategory[category], section)

        }

        if name == "ProtobufDecoder" {

            protobufDRegistered = true

        }

        if name == "ProtobufEncoder" {

            protobufERegistered = true

        }

    }

    // Make sure ProtobufDecoder is registered.

    if !protobufDRegistered {

        var configDefault ConfigFile

        toml.Decode(protobufDecoderToml, &configDefault)

        log.Println("Pre-loading: [ProtobufDecoder]")

        section := &ConfigSection{

            name:        "ProtobufDecoder",

            category:    "Decoder",

            tomlSection: configDefault["ProtobufDecoder"],

        }

        if err = self.loadPluginGlobals(section); err != nil {

            // This really shouldn't happen.

            self.log(err.Error())

            errcnt++

        } else {

            sectionsByCategory["Decoder"] = append(sectionsByCategory["Decoder"],

                section)

        }

    }

    // Make sure ProtobufEncoder is registered.

    if !protobufERegistered {

        var configDefault ConfigFile

        toml.Decode(protobufEncoderToml, &configDefault)

        log.Println("Pre-loading: [ProtobufEncoder]")

        section := &ConfigSection{

            name:        "ProtobufEncoder",

            category:    "Encoder",

            tomlSection: configDefault["ProtobufEncoder"],

        }

        if err = self.loadPluginGlobals(section); err != nil {

            // This really shouldn't happen.

            self.log(err.Error())

            errcnt++

        } else {

            sectionsByCategory["Encoder"] = append(sectionsByCategory["Encoder"],

                section)

        }

    }

    multiDecoders := make([]multiDecoderNode, len(sectionsByCategory["MultiDecoder"]))

    multiConfigs := make(map[string]*ConfigSection)

    for i, section := range sectionsByCategory["MultiDecoder"] {

        multiConfigs[section.name] = section

        multiDecoders[i] = newMultiDecoderNode(section.name, subsFromSection(section.tomlSection))

    }

    multiDecoders, err = orderDependencies(multiDecoders)

    if err != nil {

        return err

    }

    for i, d := range multiDecoders {

        sectionsByCategory["MultiDecoder"][i] = multiConfigs[d.name]

    }

    // Append MultiDecoders to the end of the Decoders list.

    sectionsByCategory["Decoder"] = append(sectionsByCategory["Decoder"],

        sectionsByCategory["MultiDecoder"]...)

    // Force decoders and encoders to be registered before the other plugin

    // types are initialized so we know they'll be there for inputs and

    // outputs to use during initialization.

    order := []string{"Decoder", "Encoder", "Input", "Filter", "Output"}

    for _, category := range order {

        for _, section := range sectionsByCategory[category] {

            log.Printf("Loading: [%s]\n", section.name)

            if err = self.loadSection(section); err != nil {

                self.log(err.Error())

                errcnt++

            }

        }

    }

    if errcnt != 0 {

        return fmt.Errorf("%d errors loading plugins", errcnt)

    }

    return

}

Heka 的配置文件加载逻辑的更多相关文章

  1. Spring Boot 2.4.0正式发布,全新的配置文件加载机制(不向下兼容)

    千里之行,始于足下.关注公众号[BAT的乌托邦],有Spring技术栈.MyBatis.JVM.中间件等小而美的原创专栏供以免费学习.分享.成长,拒绝浅尝辄止.本文已被 https://www.you ...

  2. Spring Boot源码分析-配置文件加载原理

    在Spring Boot源码分析-启动过程中我们进行了启动源码的分析,大致了解了整个Spring Boot的启动过程,具体细节这里不再赘述,感兴趣的同学可以自行阅读.今天让我们继续阅读源码,了解配置文 ...

  3. Spring使用环境变量控制配置文件加载

    项目中需要用到很多配置文件,不同环境的配置文件是不一样的,因此如果只用一个配置文件,势必会造成配置文件混乱,这里提供一种利用环境变量控制配置文件加载的方法,如下: 一.配置环境变量 如果是window ...

  4. struts几个配置文件加载顺序_2015.01.04

    struts几个配置文件加载顺序: 01:struts-default.xml 02:struts-plugin.xml 03:struts.xml 04:struts.properties 05:w ...

  5. asp.netcore 深入了解配置文件加载过程

    前言     配置文件中程序运行中,担当着不可或缺的角色:通常情况下,使用 visual studio 进行创建项目过程中,项目配置文件会自动生成在项目根目录下,如 appsettings.json, ...

  6. bash 的配置文件加载顺序

    bash配置文件的加载顺序和登陆方式有关,下面先介绍下登陆方式. 1 登陆方式有2种 登陆式SHELL: su - oracle    su -l oracle 正常从终端登陆 非登录式SHELL: ...

  7. 解决eclipse部署maven时,src/main/resources里面配置文件加载不到webapp下classes路径下的问题

    解决eclipse部署maven时,src/main/resources里面配置文件加载不到webapp下classes路径下的问题. 有时候是src/main/resources下面的,有时候是sr ...

  8. node 加载逻辑

    [node 加载逻辑] require(X) from module at path Y . If X is a core module, a. return the core module b. S ...

  9. springboot的yaml基础语法与取值,配置类,配置文件加载优先级

    1.基本语法k:(空格)v:表示一对键值对(一个空格必须有):以空格的缩进来控制层级关系:只要是左对齐的一列数据,都是同一个层级的属性和值也是大小写敏感: server: port: 8081 pat ...

随机推荐

  1. linux和windows之间的文件压缩和解压缩以及^R的问题

    推荐大家使用zip压缩和解压,因为zip一般是linux系统自带: 一.zip和unzip 1. zip压缩 zip -r myfile.zip ./web 将当前目录里的web下的所有文件和文件夹全 ...

  2. 使用单个httpclient实例请求数据。

    做J2EE的都知道httpclient这个工具,Android也自带这个工具,不过和J2EE上的不一样,可能是google在添加的时候,自己修改了一部分代码. 在J2EE中可以使用如下代码,在多线程的 ...

  3. UDF-Java提取身份证内信息

    1.使用方法 #获取省份ID create temporary function getProvIdByCardIdUDF as 'com.st.PersonInfoByCardIdUDF.getPr ...

  4. 队列优化dijsktra(SPFA)的玄学优化

    转载:大佬博客 最近想到了许多优化spfa的方法,这里想写个日报与大家探讨下 前置知识:spfa(不带任何优化) 由于使用较多 STLSTL ,本文中所有代码的评测均开启 O_2O2​ 优化 对一些数 ...

  5. C#使用Redis的基本操作

    一,引入dll 1.ServiceStack.Common.dll 2.ServiceStack.Interfaces.dll 3.ServiceStack.Redis.dll 4.ServiceSt ...

  6. CoreText 图文混排

    基本原理 https://www.cnblogs.com/purple-sweet-pottoes/p/5109413.html CoreText(一):基本用法  https://blog.csdn ...

  7. python在一堆目录中寻找json文件

    在一个目录下,有好几层目录,里面零零散散存放着几个json文件,我要做的是用python脚本把它们都找出来,一开始就一层一层地找,用os.listdir加上for循环,根据目录树的深度确定for循环的 ...

  8. 感想篇:7)知其然与知其所以然,KnowHow与KnowWhy

    本章目的:探究--知其然与知其所以然,KnowHow与KnowWhy. 1.Know-How体系与代价: 100多年的汽车研发历史表明,企业只有开发过两代车以上才能逐步建立和完善Know-How体系. ...

  9. windows使用putty向远程服务器传送文件

    一.问题产生 对于远程服务器,我习惯把文件写好后直接上传到服务器,也有很多方法可以做到,我现在比较习惯使用putty自带的pscp直接去传. 二.解决办法 1.首先在本地下载的putty文件下看是否有 ...

  10. 固定定位 z-index iconfont的使用 043

    固定定位  现象 脱标 提升层级  将盒子固定住 参考点 浏览器的左上角 : <!DOCTYPE html> <html lang="en"> <he ...