小爬之前的文章 【Excel VBA中写SQL,这些问题你一定为此头痛过】中详细讲诉了一些常见的VBA 中使用SQL遇到的问题,这里再补充两个常见的问题场景及对应的解决方案,希望你们看了后能够思路开阔些,少走些弯路。

一、数据源Excel文件的工作表有些列的列名相同

  我们知道,在商业数据库中创建表时,同一个表名下是不允许创建相同的字段的,且字段名要遵从一定规范。但在Excel文件中则无此限制,同一个工作表下,支持多列的列名相同。那么当我们用SQL来操作这类头疼的Excel文件时,该如何区分不同字段呢?

  假设小爬有这样一个Excel表(数据样本通过python的第三方库faker来生成),【源数据】表中,A列和C列的列名都为【公司】,但其实一个指代【公司名称】,另一个指代【公司代码】,这样不规范的excel模板例子在现实工作中很常见。我们该如何区分它俩呢?

  小爬试着先输出recordSet中所有字段名,看VBA的sql引擎是如何贴心处理这个问题的,示例代码如下:

 1 Sub myQuery()
2 Dim conn As Object, rs As Object, rs1 As Object, sht1 As Worksheet, sht2 As Worksheet, sql As String
3 Set conn = CreateObject("ADODB.Connection")
4 Set rs = CreateObject("ADODB.recordset")
5 Set sht1 = ThisWorkbook.Sheets("源数据")
6 Set sht2 = ThisWorkbook.Sheets("结果")
7 conn.Open "provider=Microsoft.ACE.OLEDB.12.0;extended properties=excel 12.0;data source=" & ThisWorkbook.FullName
8 sql = "SELECT * FROM [源数据$]"
9 Set rs = conn.Execute(sql)
10 For i = 0 To rs.Fields.Count - 1 '输出recordset字段名到【结果】表
11 sht2.Cells(1, i + 1) = rs.Fields(i).Name
12 Next
13 sht2.Cells(2, 1).CopyFromRecordset rs '输出recordset结果到【结果】表
14 conn.Close
15 Set conn = Nothing
16
17 End Sub

  输出的结果如下图所示:

  可以看到,重名后的列名被sql解析成字段名后,默认跟上阿拉伯数字1,2,3……知道了sql 引擎的解析规则,我们就可以直接根据解析后的列名 如【公司】【公司1】来操作不同的字段了,没输出所有字段名前就可以做到心中有数。

二、Excel“表格”不是真正的表格文件格式

  有的时候,我们从ERP系统导出的报表Excel文件,虽然是xls(xlsx)后缀,可出于种种原因,他们并非真正的Excel表格格式,可能底层依然是txt文件,小爬在工作中就没少遇到过这种奇葩问题。

  解决思路如下:先利用sql的方法获取当前数据库的所有表名,如果表名是乱码,如("?????"),则该Excel文件可能底层是txt文件,至少不是规范格式的Excel文件。此时,我们可以用VBA原生的workbooks.open方法来显式打开该工作簿,自动保存,然后用SQL引擎来重新连接该工作簿即可。示例代码如下:

Const adSchemaTables = 20 '这句很重要,一定要提前定义adSchemaTables常量的值
Sub myQuery()
Dim conn As Object, rs As Object, rs1 As Object, sht1 As Worksheet, sht2 As Worksheet, sql As String, sourceFileName As String Set conn = CreateObject("ADODB.Connection")
Set rs = CreateObject("ADODB.recordset")
sourceFileName = ThisWorkbook.Path & "\数据源\" & "测试.xls"
conn.Open "provider=Microsoft.ACE.OLEDB.12.0;extended properties=excel 12.0;data source=" & sourceFileName
Set rs = conn.openschema(adSchemaTables)
TableName = rs.Fields(2).Value
If TableName <> "源数据" Then '假定当工作簿格式规范时,工作表名为【源数据】
conn.Close
Set wb = Workbooks.Open(sourceFileName)
wb.Save
wb.Close
conn.Open "provider=Microsoft.Ace.oledb.12.0;Extended Properties=Excel 12.0;data source=" & sourceFileName
Set rs = conn.openschema(adSchemaTables)
TableName = rs.Fields(2).Value
End If
End Sub

  这里面包含两个技巧:

    1、当小爬用wb.save时,Excel会自动将不规范的xls文件(本质是txt)保存为规范的xls文件;

    2、利用conn.openschema(adSchemaTables)输出该数据库下所有的表名,代码如下:

CONN.Open "provider=Microsoft.Ace.oledb.12.0;Extended Properties=Excel 12.0;data source=" & sourceFullName
Set rs = CONN.openschema(adSchemaTables)
Do While Not rs.EOF
tableName = rs.Fields(2).Value Debug.Print rs.Fields(2).Value '表名,对于Excel中的表或(工作表名)后面会自动加一个$
rs.MoveNext
Loop

  至于上面的例子中,为啥不每次默认用VBA语法打开某个工作簿,再保存为xls文件,再用CONN来连接,自然是为了改善脚本的性能,毕竟workbooks.open相比较于CONN来连接表格,速度太慢了。

  

欢迎扫码关注我的公众号 获取更多爬虫、数据分析的知识!

Excel VBA中写SQL,这些问题的方法你一定要牢记的更多相关文章

  1. 在Excel VBA中写SQL,是一种什么体验

    每每提到Excel办公自动化,我们脑海里能想到的就是公式.数据透视表.宏.VBA,这也是我们大部分人数据分析的进阶之路.当我们对于常用VBA技巧已经相当熟练后,往往会有一种"我的VBA知识够 ...

  2. 在Excel VBA中使用SQL到底优势在哪儿

    小爬在之前的博文中多次提到,可以在VBA中写SQL来操作Excel文件,实现各类数据处理和分析需求.那么,你可能有这样的疑问:Excel原生的VBA,数据透视表,数据分析功能不够吗,为啥一定要用SQL ...

  3. 在mybatis中写sql语句的一些体会

    本文会使用一个案例,就mybatis的一些基础语法进行讲解.案例中使用到的数据库表和对象如下: article表:这个表存放的是文章的基础信息 -- ------------------------- ...

  4. 浅谈Excel开发:九 Excel 开发中遇到的常见问题及解决方法

    Excel开发过程中有时候会遇到各种奇怪的问题,下面就列出一些本人在开发中遇到的一些比较典型的问题,并给出了解决方法,希望对大家有所帮助. 一 插件调试不了以及错误导致崩溃的问题 在开发机器上,有时可 ...

  5. Excel 2013中单元格添加下拉列表的方法

    使用Excel录入数据的时候我们通常使用下拉列表来限定输入的数据,这样录入数据就很少发生错误了.Excel 2013较以前的版本发生了很大的变化,那么在Excel 2013是如何添加下拉列表的呢? 下 ...

  6. Excel vba中访问ASP.NET MVC项目,记录访问时间,文件名称

    每30秒连接一次服务器,连接成功单元格变绿色,连接失败变红色,状态单元格为17行,2列 1,打开excel文件,进入vba编辑器,新建一个modules模块,在里面先写一个每30秒执行一次ConnSe ...

  7. 关于在Java代码中写Sql语句需要注意的问题

    最近做程序,时不时需要自己去手动将sql语句直接写入到Java代码中,写入sql语句时,需要注意几个小问题. 先看我之前写的几句简单的sql语句,自以为没有问题,但是编译直接报错. String st ...

  8. SSM框架中写sql在xml文件中

    第一种(用Mapper.xml映射文件中定义了操作数据库sql) 注意点: 1.#{}与${} #{}表示一个占位符,使用占位符可以防止sql注入, ${}通过${}可以将parameterType传 ...

  9. SSM框架中写sql在dao文件中以注解的方式

    1以注解方式 //两个参数其中一个是对象需写,对象.属性 @Update("update delivery_address set consignee = #{address.consign ...

随机推荐

  1. Spring专题1: 静态代理和动态代理

    合集目录 Spring专题1: 静态代理和动态代理 为什么需要代理模式? 代理对象处于访问者和被访问者之间,可以隔离这两者之间的直接交互,访问者与代理对象打交道就好像在跟被访者者打交道一样,因为代理者 ...

  2. SpringCloud整合Hystrix

    1.Hystrix简介 Hystrix是由Nefflix开源的一个延迟和容错库,用于隔离访问远程系统.服务或第三方库,防止级联失败,从而提升系统的可用性.容错性与局部应用的弹性,是一个实现了超时机制和 ...

  3. jQuery EasyUI 的editor组件使用

    问题:最近在优化一个项目时,前端用到了 easyui这个插件来实现表格,搞了很久,才实现出一部分功能,但是还是有很多地方不熟悉,故记录一下,以后再研究 第一个实例------------------- ...

  4. 微服务中的CAP原则

    CAP原则:指的是在一个分布式系统中,Consistency(一致性). Availability(可用性).Partition tolerance(分区容错性),三个要素最多同时实现两点不可能同时实 ...

  5. curl: (6) Could not resolve host: mirrors.163.com; Unknown error 服务器上解析不了域名,换成ip可以

    原因是DNS域名解析问题: 添加nameserver即可解决 echo nameserver 8.8.8.8 > /etc/resolv.conf 解释一下DNS服务 DNS(Domain Na ...

  6. 21个实用便利的PHP代码

    转载请注明来源:https://www.cnblogs.com/hookjc/ 1. PHP可阅读随机字符串 此代码将创建一个可阅读的字符串,使其更接近词典中的单词,实用且具有密码验证功能. /*** ...

  7. js 数组map用法 Array.prototype.map()

    map 这里的map不是"地图"的意思,而是指"映射".[].map(); 基本用法跟forEach方法类似: array.map(callback,[ thi ...

  8. ansible-playbook实现MySQL的二进制部署

    1.ansible服务器配置 1.1 安装ansible # yum -y install ansible 1.2 配置主机清单文件 # vi /etc/ansible/hosts [local] 1 ...

  9. 3.6 万颗星!开源 Web 服务器后起之秀,自带免费 HTTPS 开箱即用

    众所周知,Web 服务器是 Web 开发中不可或缺的基础服务,在开发中经常会用到.耳熟能详的开源 Web 服务器有久负盛名的 Apache.性能强劲的 Nginx.而我们今天要介绍的开源项目是采用 G ...

  10. PHP的加密方法汇总

    PHP的加密主要有4种方法,除此之外还有一种是URL的加密和解密.希望可以对你们开发有用. 顺带,我会在后面把我整理的一整套CSS3,PHP,MYSQL的开发的笔记打包放到百度云,有需要可以直接去百度 ...