快速上手 dbt 数据转换工具 -- dbt core 命令进阶篇

引

根据第一篇文章的约定，我想通过接下来的几篇文章带大家进一步了解 dbt 的用法，原计划这篇文章我会介绍 dbt 命令的进阶用法，进一步认识 dbt 的配置以及如何创建增量表等等零零散散十几个方面的知识点，结果在我写完命令部分发现篇幅就过长了，考虑到大家对于知识的吸收，想了想还是把命令单独作为一个篇章，那么通过本文，你将了解 dbt 命令的如下几个知识点：

• 如何运行执行条件的命令，比如指定项目，指定目录，指定 tag
• 如何运行某个模型以及它的所有上下游模型
• 如何运行同时符合多个条件下的模型
• 使用通配符指定模型
• 如何排除特定模型
• 如何强制更新增量表模型

那么让我们开始本篇文章的学习。

一、运行指定条件的 model

在第一篇文章中，我们知道 dbt run 可用于启动并运行整个 dbt 项目，一个命令可直接运行你项目中的所有 models，但事实上有时候我们只更新了一个 model，且我只希望更新这一个 model，那么这时候你可以通过 --select 指定你需要运行的 model。

这是运行指定条件 model 的一些说明：

dbt run --select "my_dbt_project_name"   # runs all models in your project
dbt run --select "my_dbt_model"          # runs a specific model
dbt run --select "path.to.my.models"     # runs all models in a specific directory
dbt run --select "my_package.some_model" # run a specific model in a specific package
dbt run --select "tag:nightly"           # run models with the "nightly" tag
dbt run --select "path/to/models"        # run models contained in path/to/models
dbt run --select "path/to/my_model.sql"  # run a specific model by its path

让我来解释这些命令：

你也许已经在思考 dbt run --select "my_dbt_project_name" 与 dbt run 的区别了，事实上假设我们并未使用任何三方的 dbt package，那么这两个命令将毫无区别，但假设我们在自己的项目中使用了例如 dbt-ga4 的三方包，那么这个命令将派上用场。

事实上，任何一个 dbt package 都是一个独立的 dbt 项目，我们使用的三方 dbt package 其实就是把别人的项目引入到自己项目中而已。

假设我现在在项目中安装了三方包 dbt-ga4，如果我现在执行 dbt run，那么它将会执行我在项目中定义的以及 dbt-ga4 中所有的模型；但如果现在的需求是我只希望更新 dbt-ga4 这个三方包中的模型，或者只更新我们自己项目定义的模型，那么使用上面的命令将解决你的问题，比如：

-- 只运行自己项目中的模型，而不会运行三方包的模型
dbt run --select "my_dbt_project_name"
-- 只运行 dbt-ga4 中的模型
dbt run --select "ga4"

而项目的名称，我们可以在 dbt_project.yml 文件的 name 字段获取你的项目名称。

第二条命令好理解的多，比如我只希望运行项目中的 users model，你可以这样：

dbt run --select users

假设你希望 users 和 records 两个 model，可以使用空格隔开：

dbt run --select users records

第三条命令用于运行特定目录下的所有模型，毕竟如果一个目录下模型较多，一个个指定模型名称会比较麻烦，假设我们的目录如下：

my_project/
├── models/
│   ├── model1.sql
│   ├── model2.sql
│   └── my_directory/
│       ├── model3.sql
│       └── model4.sql

我想运行 my_directory 目录中的所有模型，您可以这样做：

dbt run --select "my_project.my_directory"

第四条命令用于运行指定 package 下某个目录下的所有模型，它与第三条命令的区别在于一个是我们自己的 dbt 项目，一个是我们引入的三方包，我知道你在想那我不如直接 dbt run --select model来运行某个模型，何必指定包名；有些时候引入的包过多可能存在 model 重名的情况，那么指定包名可以解决这个问题：

dbt run --select "my_package.some_model"

第五条命令用于运行执行 tag 的 model，在 dbt 中，我们可以给模型添加标签，以便于对模型进行分类和筛选。例如，如果有一些模型需要每晚运行，我们可以给这些模型添加 nightly 标签，然后使用这个命令来运行它们。

{{ config(tags = "nightly") }}

-- 模型的 SQL 代码

然后运行：

dbt run --select tag:nightly

第六条和第七条命令都用于运行 dbt 项目根目录路径下指定目录或者指定文件的模型，它与第三条命令的功能其实相同：

my_project/
├── models/
│   ├── model1.sql
│   ├── model2.sql
│   └── my_directory/
│       ├── model3.sql
│       └── model4.sql

dbt run --select "my_project.models.my_directory"
dbt run --select "my_project.models.my_directory.model3"

二、运行指定模型的上下游模型

除了上面提到的运行执行条件的模型外，在日常开发中，我们常常还有运行执行模型的上游或者下游模型的需求，举个例子，我现在更新了 users 模型，我希望更新 users 以及所有依赖 users 的下游模型（子模型），那么我们可以通过给 users 添加 + 来达到这个需求，命令如下：

dbt run --select "my_model+"         # select my_model and all children
dbt run --select "+my_model"         # select my_model and all parents
dbt run --select "+my_model+"        # select my_model, and all of its parents and children

为了更好的理解，假设我们现在的模型依赖关系如下：

假设我们运行的是dbt run --select model_d+，那么它等同于运行：

dbt run --select model_d model_e model_f model_g

简单来理解 model_d+ 会运行 model_d 以及它的所有子模型。

同理，+my_model 会运行它以及所有它依赖的父模型，也就是上游模型：

dbt run --select +model_d

-- 等同于
dbt run --select model_a model_b model_c model_d

你也许会想，难道 dbt 自己会知道 model 的依赖顺序关系吗？比如先执行 model_a 再运行 model_d，关于这一点我会在后面的模型引用来解释这一点，事实上我们确实不太需要关注这个依赖关系，因为 dbt 就是会帮我维护好这份依赖关系。

当我们执行 dbt run --select +my_model+，很明显它会运行所有的上下游模型。

那么问题来了，假定 model_d 的上下游模型非常多，层级特别深，而我们确实只更新了上游的第一层模型，也就是 model_b 和 model_c，那么此时我们可以在 + 前添加数字用于指定层级，比如：

dbt run --select "my_model+1"        # select my_model and its first-degree children
dbt run --select "2+my_model"        # select my_model, its first-degree parents, and its second-degree parents ("grandparents")
dbt run --select "3+my_model+4"      # select my_model, its parents up to the 3rd degree, and its children down to the 4th degree

假设我们运行的是 model_d+1，它等同于：

dbt run --select model_d model_e model_f

除了 + 之外，dbt 还提供了一个特殊符号 @ 用于执行执行模型的子模型以及子模型的父模型，我们假定有如下模型关系：

当我们执行

dbt run --models @snowplow_web_page_context         # select my_model, its children, and the parents of its children

它等同于运行：

dbt run --models snowplow_web_page_context snowplow_base_events snowplow_web_events

三、使用,运算符

在上文，我们知道可以通过空格隔开多个模型名称，以达到同时运行多个模型，比如：

dbt run --select "+snowplow_sessions +fct_orders"

上述模型会运行 snowplow_sessions 和 fct_orders 以及它们所有的上游模型。

其实除了空格，dbt 还提供 , 来表示某些复杂的模型关系，比如两个模型公共的上游模型：

dbt run --select "+snowplow_sessions,+fct_orders"

以上语句会运行 snowplow_sessions、snowplow_sessions 以及他们所有的共同拥有的上游模型。

同理，下面的命令就表示运行这两个模型以及它们公共的下游模型：

dbt run --select "stg_invoices+,stg_accounts+"

除了模型之间的公共关系，, 还能表示条件的共有关系，比如下面的命令：

dbt run --select "marts.finance,tag:nightly"

这条命令用于运行marts.finance目录下所有 tag 为 nightly 的命令，如果需求中有这种条件关系，灵活使用 , 将非常有效。

四、运行某个模型之外的模型

我们可以通过 --select 用于运行执行模型，其实大家很容易想到另一个场景，假设我的项目中有 10 个模型，我需要运行除了 users 外的另外 9 个，那难道我们通过 --select 选择另外 9 个，其实 dbt 已经提供了 --exclude 用于排除某些模型，比如：

dbt run --select "my_package".*+ --exclude "my_package.a_big_model+"    # select all models in my_package and their children except a_big_model and its children

比如上面的命令用于 my_package 下除了 a_big_model 以及它的下游模型之外的所有模型，是不是非常好理解。

当然，像--select 和 --exclude 除了给 dbt run 外，你一样能给 seed 或者 test 命令使用，比如：

dbt seed --exclude "account_parent_mappings"    # load all seeds except account_parent_mappings
dbt test --exclude "orders"                     # test all models except tests associated with the orders model

五、使用 Unix 通配符匹配模型

如果你的 dbt 版本在 1.5 或者以上，你能使用 Unix 通配符来匹配特定的模型，以下是说明和例子：

Wildcard	Description
*	matches any number of any characters (including none)
?	matches any single character
[abc]	matches one character given in the bracket
[a-z]	matches one character from the range given in the bracket

现在我们为每个通配符举例：

*：匹配任意数量的任意字符（包括零个字符）。例如，dbt run --select "orders*" 命令会运行所有以 “orders” 开头的模型。

?：匹配任意单个字符。例如，dbt run --select "orders_?" 命令会运行 orders_1、orders_2 等模型，但不会运行 orders_10，因为 10 是两个字符。

[abc]：匹配方括号中给出的任意一个字符。例如，dbt run --select "orders_[abc]" 命令会运行 orders_a、orders_b 和 orders_c 这三个模型。

[a-z]：匹配方括号中给出的字符范围内的任意一个字符。例如，dbt run --select "orders_[a-c]" 命令会运行 orders_a、orders_b 和 orders_c 这三个模型。

如果你对于正则表达式有些了解，我相信通配符对于你会非常好理解。

六、强制刷新模型

最后，我们来聊下强制刷新模型，事实上 dbt 中所有的模型可以是视图也可以是表，而如果我们创建表也可以创建普通表或者增量表，这两者的区别在于：

• 普通表：每次执行 model 都会完整销毁并重新
• 增量表：每次只增量更新给定时间范围内的数据模型，比如每天只更新昨天的数据。

增量表在对于时间分片表做增量更新时会非常好用，毕竟你不需要每次都全量运行所有模型。

由于增量表每次运行都只会更新指定时间范围的数据，假设我在后续就是增加了一个表字段，我希望全量更新全表，此时我们就能通过 --full-refresh 来全量更新表，比如 users 是一个增量模型，我现在希望全量更新：

dbt run --select users --full-refresh

那么到这里，我们完整的介绍了 dbt 中你可能用到的绝大多数命令，希望对你有所帮助。

同时，我在写这篇文章时已经是 2023 年的最后一天了，12月一直忙于年底的绩效统计以及晋升准备，迟迟未能更新，本文也算解决了这个月的拖延症，最后祝福你我新年快乐，2024年再继续加油吧，晚安。