第二节 将文本文件数据导进数据库

该小节介绍如何用BIML生成ssis包,将货币文本导入到数据库currency的表中。

SSIS组件:

  1. Connection Manager组建管理connection,数据库链接和文本链接
  2. SQL task组件来把Currency表清空
  3. OELEDE destination来插入数据到目标Currency表

输入 文本文件如下,目标表Currency存在于数据库中。

Currency.csv

CurrencyCode

Name

CNY

USD

美元

JPY

日元

1. 配置了 一个数据库链接
注意:配置了 一个数据库链接,其他组件要引用connection,它的ConnectionName一定要跟connection
manager链接名字的一致

<Connections >

<Connection Name ="OLEDB_Staging" ConnectionString="Data
Source=.\SQL2012;Initial Catalog=Staging; Provider=SQLNCLI11.1;Integrated
Security=SSPI;Auto Translate=False;"/>

</Connections>

2. 配置SQL Task来清空Currency表

<BIML xmlns="http://schemas.varigence.com/BIML.xsd">

   <Connections >

     <Connection Name ="OLEDB_Staging" ConnectionString="Data Source=.\SQL2012;Initial Catalog=Staging; Provider=SQLNCLI11.1;Integrated Security=SSPI;Auto Translate=False;"/>

   </Connections>

   <Packages>

     <Package Name="Staging" ConstraintMode="Linear">

   <Tasks>

     <ExecuteSQL Name="SQL - Truncate Curreny Staging" ConnectionName="OLEDB_Staging">

       <DirectInput>Truncate Table dbo.Currency

       </DirectInput>

     </ExecuteSQL>

   </Tasks>

     </Package>

   </Packages>

  </BIML>

  

Truncate Table dbo.Currency 用于清空Currency表

3. 验证错误并生成包,打开包如下
 

可以执行包验证

4. 添加组件,设置执行顺序
注意上文中Package的属性:ConstraintMode="Linear" 用于顺序执行,Parallel用于并发执行。
本节的两个组件需要Linear(顺序)执行。

<BIML xmlns="http://schemas.varigence.com/BIML.xsd">

<FileFormats>

<FlatFileFormat Name="FlatFileFormatCurrency" RowDelimiter="LF" ColumnNamesInFirstDataRow="true" IsUnicode="false">

<Columns>

<Column Name="CurrencyCode" DataType="String" Length="256" Delimiter="Comma" CodePage="1252" />

<Column Name="Name" DataType="String" Length="256" Delimiter="LF" />

</Columns>

</FlatFileFormat>

</FileFormats>

<Connections >

<Connection Name ="OLEDB_Staging" ConnectionString="Data
Source=.\SQL2012;Initial Catalog=Staging;

Provider=SQLNCLI11.1;Integrated Security=SSPI;Auto Translate=False;"/>

<FlatFileConnection Name="FlatFileCurrency" FileFormat="FlatFileFormatCurrency" FilePath="C:\SourceFile\Currency.csv" />

</Connections>

<Packages>

<Package Name="Staging" ConstraintMode="Linear">

<Tasks>

<ExecuteSQL Name="SQL - Truncate Curreny Staging" ConnectionName="OLEDB_Staging">

<DirectInput>

Truncate Table dbo.Currency

</DirectInput>

</ExecuteSQL>

<Dataflow Name="DFT Source">

<Transformations>

<FlatFileSource ConnectionName="FlatFileCurrency" Name="FF
Source" />

<OleDbDestination ConnectionName="OLEDB_Staging" Name="OLEDB
DST Currency">

<ExternalTableOutput Table="Currency"></ExternalTableOutput>

</OleDbDestination>

</Transformations>

</Dataflow>

</Tasks>

</Package>

</Packages>

</BIML>

5. 验证并生成包
可以看到文本组件依赖上面的清空数据组件(箭头顺序)

6. 执行包,查看执行结果,并到数据库中查询Currency表。

7. OK,没问题,文本导入到数据表中了。

BIML 101 - ETL数据清洗 系列 - BIML 快速入门教程 - 将文本文件(csv)数据导进数据库的更多相关文章

  1. BIML 101 - ETL数据清洗 系列 - BIML 快速入门教程 - 序

    BIML 101 - BIML 快速入门教程 做大数据的项目,最花时间的就是数据清洗. 没有一个相对可靠的数据,数据分析就是无木之舟,无水之源. 如果你已经进了ETL这个坑,而且预算有限,并且有大量的 ...

  2. BIML 101 - ETL数据清洗 系列 - BIML 快速入门教程 - 连接数据库执行SQL语句

    BIML 101 - BIML 快速入门教程 第一节 连接数据库执行SQL语句 本小节将用BIML建一个简单的可以执行的包. 新建一个biml文件,贴入下面的代码 1 <Biml xmlns=& ...

  3. SpringBoot系列: RestTemplate 快速入门

    ====================================相关的文章====================================SpringBoot系列: 与Spring R ...

  4. Flask开发系列之快速入门

    Flask开发系列之快速入门 文档 一个最小的应用 调试模式 路由 变量规则 构造 URL HTTP 方法 静态文件 模板渲染 访问请求数据 环境局部变量 请求对象 文件上传 Cookies 重定向和 ...

  5. EntityFramework6 快速入门教程

    EntityFramework6 快速入门教程 不得不说EF在国内实在是太小众,相关的技术文章真实屈指可数,而且很多文章都很旧了,里面使用的版本跟如今的EF6差别还是比较大.我刚开始弄这个的时候真是绕 ...

  6. .NET Core 快速入门教程

    .NET Core 快速学习.入门系列教程.这个入门系列教程主要跟大家聊聊.NET Core的前世今生,以及Windows.Linux(CentOS.Ubuntu)基础开发环境的搭建.第一个.NET ...

  7. .NET Core快速入门教程 2、我的第一个.NET Core App(Windows篇)

    一.前言 本篇开发环境?1.操作系统: Windows 10 X642.SDK: .NET Core 2.0 Preview 二.安装 .NET Core SDK 1.下载 .NET Core下载地址 ...

  8. .NET Core快速入门教程 5、使用VS Code进行C#代码调试的技巧

    一.前言 为什么要调试代码?通过调试可以让我们了解代码运行过程中的代码执行信息,比如变量的值等等.通常调试代码是为了方便我们发现代码中的bug.ken.io觉得熟练代码调试技巧是成为合格程序员的基本要 ...

  9. .NET Core快速入门教程 4、使用VS Code开发.NET Core控制台应用程序

    一.前言 为什么选择VS Code?VS Code 是一款跨平台的代码编辑器,想想他的哥哥VS,并是微软出品的宇宙第一IDE,那作为VS的弟弟,VS Code 也不会差,毕竟微软出品.反正ken是这么 ...

随机推荐

  1. zabbix监控部署

    zabbix是一款开源的监控软件,下面来一起学习一下zabbix监控的部署吧 环境: 主机名 地址 系统 角色 tiandong 192.168.209.3 centos6.5 服务端 winter ...

  2. Http请求优化

    Http请求优化 我们在做项目开发或多或少的都会使用SpringCloud,其中做远程调度的时候会将HTTP请求Http请求优化. HTTP请求Client存在很多种. JDK原生的URLConnec ...

  3. flask 第四篇 模板语言jinja2

    是时候开始写个前端了,Flask中默认的模板语言是Jinja2 现在我们来一步一步的学习一下 Jinja2 捎带手把 render_template 中留下的疑问解决一下 首先我们要在后端定义几个字符 ...

  4. SRS之SrsRtmpServer::connect_app详解

    1. connect('live') 2. SrsRtmpServer::connect_app 位于 srs_rtmp_stack.cpp.在 SRS 的 RTMP 连接处理线程 conn 中,当与 ...

  5. koa 基础(二十四)封装 DB 库 --- 新增数据、更新数据、删除数据

    1.根目录/module/db.js /** * DB库 */ var MongoClient = require('mongodb').MongoClient; var Config = requi ...

  6. Fragment全解析系列

    (一):那些年踩过的坑 开始之前 最新版知乎,单Activity多Fragment的架构,响应可以说非常“丝滑”,非要说缺点的话,就是没有转场动画,并且转场会有类似闪屏现象.我猜测可能和Fragmen ...

  7. stm8问题记录

    sprintf 错误 现象:打印不出来数字 需要包含#include<stdio.h>

  8. Dropdown 下拉菜单

    将动作或菜单折叠到下拉菜单中. 基础用法 移动到下拉菜单上,展开更多操作. 通过组件slot来设置下拉触发的元素以及需要通过具名slot为dropdown 来设置下拉菜单.默认情况下,下拉按钮只要ho ...

  9. springboot2.0数据制作为excel表格

    注意:由于公司需要大量导出数据成excel表格,因此在网上找了方法,亲测有效. 声明:该博客参考于https://blog.csdn.net/long530439142/article/details ...

  10. [zookeeper]ZooInspector的使用

    一.背景   Zookeeper作为常用的集群协调者组件被广泛应用,尤其是在大数据生态圈中:   Zookeeper集群存储各个节点信息,包括:Hadoop.Hbase.Storm.Kafka等等: ...