ADF - [02] 概念

题记部分

001 || 管道和活动

一个数据工厂可以有一个或多个管道（Pipeline）。管道是共同执行一项任务的活动的逻辑分组。管道可以包含一组活动（Activity），这些活动引入和清除日志数据，然后启动映射数据流以分析日志数据。可以通过管道将活动作为一个集来管理，而非单独管理每个活动。可以部署和计划管道，而不需单独对活动进行操作。

管道的活动定义对数据执行的操作。例如，可使用复制活动将数据从SQL Server复制到Azure Blob存储。然后，使用数据流活动或Databricks Notebook活动来处理数据并将数据从Blob存储转换为Azure Synapse Analytics池，在此池基础上构建商业智能报表解决方案。

Azure数据工厂和Azure Synapse Analytics支持三组活动：数据移动活动、数据转换活动和控制活动。每个活动可获取零个或多个输入数据集，并生成一个或多个输出数据集。

002 || 管道参数和变量

  参数是在管道级别定义的，在管道运行期间不可修改。管道参数可用于控制管道的行为及其活动，例如通过传入数据集的连接详细信息或要处理的文件的路径。

  单击管道不点击管道中的活动，可选择“参数”选项卡，然后可新建参数。输入参数的名称和说明，选择数据类型（String、Int、Float、Bool、Array、Object、SecureString），可为参数设置默认值。定义管道参数后，可以在管道运行期间使用管道活动中的@pipeline().parameters.<parameter name>表达式访问该参数的值。

  管道变量是可以在管道运行期间设置和修改的值。与管道参数不同，可以使用设置变量活动在管道内部设置和修改管道变量，而前者是在管道级别定义的，在管道运行期间不可更改。变量的数据类型可以是String、Boolean、Array、Integer，定义之后，可以在管道运行期间使用管道活动中的@variables('<variable name>')表达式访问该变量的值。

003 || 注释和用户属性

  Azure数据工厂注释是可以添加到Azure数据工厂或Azure Synapse Analytics实体以轻松对其进行识别的标记。借助注释，可以对不同实体进行分类或分组，以便在执行后轻松对其进行监视或筛选。可以在管道、数据集、链接服务、触发器中添加注释。

用户属性是在活动级别定义的键值对。通过添加用户属性，可以在活动运行窗口下查看有关活动的其他信息。可以利用用户属性在活动级别监视动态值。