AbtestingGateway 分流策略添加

目录结构分布

我们从GitHub上把它下载后解压出来，有以下5个目录，分别是：

admin 管理模块，对策略增删改查等功能
diversion 主模块吧，看源码是通过反射的方式调用lib/userinfo里面的子模块读取我们需要做判断条件的信息，然后在根据提取出来的信息匹配规则，再根据匹配结果调用lib/diversion里面的模块提取upstream，最后返回upstream给nginx进行分流。
doc 文档
lib 各个操作的子模块
utils 专门存放nginx相关文件的

我这次更改的需求是添加一个分流策略

从哪里开始入手

我们了解每个目录是干啥的后，我们开始从lib这个模块开始入手

我们切换到lib/abtesting/utils/ 下面，修改init.lua模块以下代码

init.lua

添加分流策略

_M.divtypes = {

    ["iprange"]     = 'ipParser',

    ["uidrange"]    = 'uidParser',

    ["uidsuffix"]   = 'uidParser',

    ["uidappoint"]  = 'uidParser',

    ["arg_city"]    = 'cityParser',

    ["url"]         = 'urlParser',

	["domainname"]  = 'domainname',  --新添加域名策略

}

我在上面的代码divtypes里面添加了 ["domainname"] = 'domainname'这一行，这个主要是对分流策略做添加一个策略作用，因为当我们对abtestinggateway添加策略的时候，它会从这里匹配。

userinfo目录下面添加lua文件

获取我们需要的参数在分流的时候。

添加完策略名后，我们还需要添加一个模块,先切换到 lib/abtesting/userinfo/ 下面，然后添加一个和刚才策略名一样的lua文件，比如我刚才设置的是domainname，那么我在这下面也添加一个 domainname.lua 文件，文件名不一样的话，会报错，提示导入模块失败的。代码如下：

[root@LeoDevops gray_release_newtang]# cat lib/abtesting/userinfo/domainname.lua

local _M = {

    _VERSION = '0.01'

}

_M.get = function()

	local h = ngx.var.host

	return h

end

return _M

上面这段代码主要是提取http的请求域名的功能，然后返回给调用者。

diversion目录下添加lua文件

编写分流逻辑。

我们上面两步做完后，还有一步是自己写一个分流规则，我们可以参考这个/lib/abtesting/diversion下面的其他策略文件，照着写就是了，文件名需要和策略名字一致。

[root@LeoDevops gray_release_newtang]# cat lib/abtesting/diversion/domainname.lua

local modulename = "abtestingDiversionCustomercode"   -- 模块名记得更改

local _M    = {}

local mt    = { __index = _M }

_M._VERSION = "0.0.1"

local ERRORINFO	= require('abtesting.error.errcode').info

local k_domainname      = 'domainname'

local k_domainname_set  = 'domainname_set'   --这个是key,后面对应的value就是我们要匹配的域名 比如{domainname_set:['t1.com','t2.com']}

local k_upstream        = 'upstream'

_M.new = function(self, database, policyLib)

    if not database then

        error{ERRORINFO.PARAMETER_NONE, 'need avaliable redis db'}

    end if not policyLib then

        error{ERRORINFO.PARAMETER_NONE, 'need avaliable policy lib'}

    end

    self.database = database

    self.policyLib = policyLib

    return setmetatable(self, mt)

end

local isNULL = function(v)

    return v and v ~= ngx.null

end

--	policy is in format as {{upstream = '192.132.23.125', domainname_set ={ "t1", "t2","t3"} }, {}}

_M.check = function(self, policy)

    for _, v in pairs(policy) do

        local domainname_set    = v[k_domainname_set]

        local upstream  = v[k_upstream]

        local v_domainname_set    = domainname_set and (type(domainname_set) == 'table')

        local v_upstream  = upstream and upstream ~= ngx.null

        if not v_domainname_set or not v_upstream then

            local info = ERRORINFO.POLICY_INVALID_ERROR

            local desc = ' k_domainname_set or k_upstream error'

            return {false, info, desc}

        end

        for _, domainname in pairs(domainname_set) do

            if not tostring(uid) then

                local info = ERRORINFO.POLICY_INVALID_ERROR

                local desc = 'domainname invalid ,can not convert to string'

                return {false, info, desc}

            end

        end

        --TODO: need to check upstream alive

    end

    return {true}

end

--	policyData will be in hash table  domainname:upstream

_M.set = function(self, policy)

    local database  = self.database

    local policyLib = self.policyLib

    database:init_pipeline()

    for _, v in pairs(policy) do

        local domainname_set   = v[k_domainname_set]

        local upstream = v[k_upstream]

        for _, domainname in pairs(domainname_set) do

            database:hset(policyLib, domainname, upstream)

        end

    end

    local ok, err = database:commit_pipeline()

    if not ok then

        error{ERRORINFO.REDIS_ERROR, err}

    end

end

_M.get = function(self)

    local database  = self.database

    local policyLib = self.policyLib

    local data, err = database:hgetall(policyLib)

    if not data then

        error{ERRORINFO.REDIS_ERROR, err}

    end

    return data

end

_M.getUpstream = function(self, domainname)

    if not tostring(domainname) then

        return nil

    end

    local database, key = self.database, self.policyLib

    local backend, err = database:hget(key, domainname)

    if not backend then error{ERRORINFO.REDIS_ERROR, err} end

    if backend == ngx.null then backend = nil end

    return backend

end

return _M

上面的就是我的域名分流逻辑，如果我加入了其他分流策略，那么只需要把domainname，k_domainname，k_domainname_set这三个变量名更改成自己的就可以了。

测试

完成上面三步后，我们就可以测试了，

policy_check

[root@LeoDevops ~]# curl 'http://127.0.0.1:8080/ab_admin?action=policy_check' -d '{"divtype": "domainname","divdata": [{"domainname_set": ["t1.quanshi.com", "t2.quanshi.com"],"upstream": "beta1"}]}'

{"code":200,"desc":"success "}

语法检测OK，通过，那么就添加策略了吧。

policy_add

[root@LeoDevops ~]# curl 'http://127.0.0.1:8080/ab_admin?action=policy_set' -d '{"divtype": "domainname","divdata": [{"domainname_set":["t1.quanshi.com", "t2.quanshi.com"],"upstream": "beta1"}]}'

{"code":200,"desc":"success  the id of new policy is 0"}

策略添加成功，没有问题。

错误日志记录

这里使用的是nginx日志来记录日志，我们这里的也借助abtestingGateway来做日志记录。

我们切换到lib/abtesting/error/ 下面，编辑errorcode.lua 里面的代码

local modulename = 'abtestingErrorInfo'

local _M = {}

_M._VERSION = '0.0.1'

_M.info = {

    ... 省略N行

	--  show some args when posting

	['SHOW_REQUEST_ARGS']       = { 50701, 'requst arguments --> '},

	['SHOW_POST_ARGS']       = { 50702, 'POST arguments --> '},

}

return _M

上面两行代码是我添加的错误代码。用于显示参数信息等。临时打下这些信息方便编写代码。

打印日志

local args = ngx.req.get_uri_args()

local action = args.action

local do_action = ab_action[action]

local info = ERRORINFO.SHOW_REQUEST_ARGS

log:errlog(dolog(info,action ))   --记录http请求的参数,临时打开下，记录为error也可以，反正是临时打开下。