dbt】的更多相关文章

Depth Bounds Test (DBT) Depth Bounds Test(深度范围检测),是Nvdia GeForce 6系列以后显卡的特性(GPU Programming Guide GeForce 8 and 9 Series),并不是DirectX的特性.所以在例如Nsight和Pix的图形分析工具里,是看不到它的设置的.   Depth Bounds Test的功能是允许程序员在blend render target前进行额外的像素Discard.这个扩展增加了一个新的逐个fr…
dbt 包含一个自己的包管理,可以使用git 等工具,还是很方便的,可以方便的进行代码共享,实现复用 创建简单包 实际上就是一个简单的dbt 项目,参考项目 https://gitlab.com/dalongrong/dbt-gitlab-demo 创建简单包 dbt init gitlab-demo 修改配置 主要是包信息的修改,同时添加了一些macro,方便调用,具体代码可以参考上面的gitlab get_versions_schema.sql: {% macro get_versions_…
seed 可以方便的进行数据的导入,可以方便的进行不变数据(少量)以及测试数据的导入, base 设置为 ephemeral(暂态),这个同时也是官方最佳实践的建议 项目依赖的gitlab 数据可以参考https://github.com/rongfengliang/graphql-engine-gitlab 参考项目 初始化 dbt init gitlab-data 配置项目 # Name your package! Package names should contain only lowe…
macro是SQL的片段,可以像模型中的函数一样调用.macro可以在模型之间重复使用SQL,以符合DRY(不要重复自己)的工程原理. 此外,共享包可以公开您可以在自己的dbt项目中使用的macro. 要使用macro,macro-paths请在dbt_project.yml文件中添加配置条目.macro文件必须使用.sql文件扩展名. macro 的使用 配置位置 配置 dbt_project.yml macro-paths: ['macros'] # look for macros in .…
脚手架新的适配器 首先,将odbc适配器模板复制到同一目录中的新文件. 更新dbt / adapters / factory.py以将新适配器包含为类型.还要将类型添加到dbt / contracts / connection.py, 并添加一个定义适配器配置文件外观的约定. 实现适配器功能 在适配器模板中,找到许多应该实现的功能,以使大多数适配器功能正常工作.最关键的是: get_odbc_connection_string,必须返回一个有效的ODBC连接字符串,以传递给pyodbc进行连接;…
dbt的包是一种可以复用的代码,可以方便进行模型的共享 创建一个包 和普通的dbt 项目类似 初始化(init) dbt init [packagename] 目录结构 文件: README.md dbt_project.yml 目录: models/ macros/ tests/ analysis/ *## 包信息修改 dbt_project.yml 修改name version 以及设置profile 同时移除多余的models 配置 参考配置 dbt_project.yml: name:…
可以使用如下方式: 云主机或者普通的机器 使用 airflow 使用 Sinter, 一个托管的dbt runner 常见问题: 如何管理权限? 可以使用hooks 进行配置用户组以及权限 说明 实际上,支持任务调度的工具都是可以用来触发dbt的 参考资料 https://docs.getdbt.com/docs/running-dbt-in-production        …
限制对原始数据的依赖性 您的项目将取决于存储在数据库中的原始数据.我们建议制作所谓的“基本模型”,以最大限度地减少对原始数据表的依赖性.在此约定中,基本模型可以具有以下职责: 仅选择与当前分析相关的字段以限制复杂性.以后可以随时添加更多字段. 执行任何所需的类型转换. 执行字段别名以将字段名称合理化为项目中使用的标准格式. 充当给定原始数据表的唯一访问点. 在此约定中,所有后续数据模型都建立在基本模型之上而不是原始数据之上 - 仅允许基本模型从原始数据表中进行选择.这可以确保基本模型中的所有转换…
dbt 可以方便的支持基于git 的包管理 依赖申明 位置 dbt_project.yml 中的repositories 或者使用packages.yaml 格式 dbt_project.yml: repositories: - https://github.com/fishtown-analytics/snowplow.git packages.yaml: packages: - git: https://github.com/fishtown-analytics/snowplow.git r…
dbt 支持docs的管理,可以方便进行分享,以及大家的可视化工作 有一篇文档讲的特别好分析了知识共享,知识管理的重要性(dbt 对应公司的ceo) https://blog.fishtownanalytics.com/scaling-knowledge-160f9f5a9b6c?_branch_match_id=520116032687566918 创建demo 项目 dbt init demoapp 配置profile(pg 数据库) 参考https://docs.getdbt.com/do…