数据仓库之抽取数据：通过bcp命令行导入数据

原文:数据仓库之抽取数据：通过bcp命令行导入数据

在做数据仓库时，最重要的就是ETL的开发，而在ETL开发中的第一步，就是要从原OLTP系统中抽取数据到过渡区中，再对这个过渡区中的数据进行转换，最后把经过处理的干净的数据加载到数据仓库中。

目标数据库是sql server，通过bcp命令行导入数据。bcp方式相对于其他方式来说，速度更快，是做了优化的。

以下为bcp命令行常用的参数，注意大小写：

-c  以char作为存储类型

-w  和-c类似，只有当使用unicode字符集拷贝数据时使用nchar作为存储类型

-T  用可信连接

-S  sql server服务器名称

in  导入数据

out 导出数据

queryout 查询导出数据

-U  用户名

-P  密码

-F  从哪一行开始导入

-L  直到哪一行结束

-f  格式文件

-x  与-f一起使用，用来生产xml格式的格式文件

-t  指定字段分隔符是"\t"

-r  指定行分隔符是"\n"

1、开启即席查询

--修改高级参数





sp_configure 'show advanced options',1





go





--允许即席分布式查询





sp_configure 'Ad Hoc Distributed Queries',1





go





--如果配置的值不在合理范围（在最小值最大值范围内），那么可以强制覆盖





reconfigure with override  





go

2、导出格式化文件

格式化文件用来指定表的格式，也就是几个字段，数据类型是什么，后面导入、导出数据会用到。

通过导出格式化选项，可以直接导出，不需要我们自己写。

用可信连接登陆：

 





bcp wc.dbo.calendar format nul -f c:\calendar.fmt 





                               -c -T -S pc0227gry\mssqlserver2008

通过用户名、密码登陆：

bcp wc.dbo.calendar format nul -f c:\calendar.fmt 





                               -c -Usa -Pxyz -S pc0227gry\mssqlserver2008

3、导出数据文件，可以把远程服务器的数据导出保存为本地的文件

bcp wc.dbo.calendar out c:\calendar.txt  -f c:\calendar.fmt 





                                         -c -T -S PC0227GRY\MSSQLSERVER2008

4、导入数据

bcp wc.dbo.calendar in c:\calendar.txt -c -f c:\calendar.fmt 





                                       -Usa -Pxyz -S pc0227gry\mssqlserver2008

• 点赞
  1
• 收藏
• 分享




• • 文章举报

不想长大啊

发布了416 篇原创文章 · 获赞 135 · 访问量 94万+

他的留言板
关注