使用DBUnit框架数据库插入特殊字符失败的查错经历

本文记录的是使用DBUnit测试框架进行数据库数据插入时，插入特殊字符失败的查错经历。希望能对向我这样的小白同学们在遇到类似问题时，能够有一些启发。
背景：
在写跟数据库交互模块的单元测试，数据库表中的ext字段，需要先写入数据，然后再读取出来，进行处理。ext字段格式是key1CTRL^Dvalue1CTRL^CKey2CTRL^Dvalue2。使用DBUnit框架来做单元测试，DBUnit是一个基于junit扩展的数据库测试框架。此次项目里插入数据库的数据是以xml形式的文件来组织的。xml文件的部分内容如下

<?xml version="1.0" encoding="utf-8"?>
<dataset>
<feed_item_0007
        id="323723909"
        biz_number="11223345"
        ext="item_price\u0003498.00\u0002postage\u000310.00\u0002location\u0003广州深圳\u0002properties\u0003186026840:125200612;6939376:922305\u0002"
        />
</dataset>

在Java中，CTRL^D的值是(char)4,CTRL^C的值是(char)3。此处普及下Java代码中字符串\u0003的意思，就是说Unicode值(char)3转义之后的值。在单元测试中，发现数据库中读取出的数据，本来一个字符 CTRL^C 即 \u0003 变成了6个字符,分别是\,u,0,0,0,3.

排查问题的过程：

既然数据库里读取出的值不对，说明插入的值就是错的。首先不太了解Java，没有仔细看import到单元测试里的包，没有发现使用了junit框架和DBUnit。导致盲目找了一会儿同事开发的DBUnitBaseTest这个单元测试基类的问题，认为就是转码的问题。无果，后来看到了这个基类DBUniteBaseTest的源码，才知道有DBUnit这个东东，而且发现基类没做什么特殊处理，就是根据配置文件初始化DataSource，然后根据xml数据文件向数据库中对应表插入数据的过程。

后来在google里搜索，用的关键词就是dbunit \u0003 之类的，太具体了，导致没有查到太多相关的有用信息。一直苦于找不到解决问题的思路。
后来有同事提醒可以用CDATA，查了一下CDATA的用法，有了一些思路。

"CDATA是在XML文档里面使用的关键字，用来告诉XML解析器，这部分内容不用解析，是给其他程序用的，比如JAVASCRIPT等等。在XML文档中的所有文本都会被解析器解析，只有在CDATA部件之内的文本会被解析器忽略。"

后来又从上面的搜索结果的网页里看到了一个有用的东东：numeric character reference.

Because XML syntax uses some characters for tags and attributes it is not possible to directly use those characters inside XML tags or attribute values. To include special characters inside XM files you must use the numeric character reference instead of that character. The numeric character reference must be UTF-8 because the supported encoding for XML files is defined in the prolog as encoding=“UTF-8” and should not be changed.

The numeric character reference uses the format:

&#nn; decimal form

&#xhh; hexadeciaml form

于是就有了以下的方案：
1.尝试直接写 \u0004的 numeric character，就是  失败,报的错误是: Character reference "&#4" is an invalid XML character
2.\u0004中，只把 \ 用numeric character代替了,即\ u0004 这个方式仍然是6个字符,跟直接写 \u0004 一样的效果
3. 使用 CDATA： ext=<![CDATA["postage\u000410.0\u0003"]]> 发现写法可能不对，报错是xml的格式出错。

这个时候，感觉自己快接近真相了，就是感觉每次搜索\u0004相关的东西，范围太小了，不太能找到问题的答案。后来跟同事聊这个问题，同事提到就是这些控制字符没有正确编码，一下子就把我点醒了。直接搜 does xml support control characters，有如下发现：

Specifically, 0x1-0x1F and 0x7F-0x9F must be encoded as escapes in XML 1.1. The former were forbidden and the latter were optionally not-escaped in 1.0.

所以可以看到，采用方案1时，由于XML1.0不支持这几个控制字符，所以仍然报错，而且是说&#4这个字符是非法的XML字符。从上面的搜索结果里看，XML 1.1 支持这几个控制字符，于是很开心的把xml文件中的xml版本由1.0改成1.1，结果还是报错了：

org.dbunit.dataset.DataSetException: Line 1: XML version "1.1" is not supported, only XML 1.0 is supported.

最后使出了简单粗暴的解决办法：对于这张表的这个字段，直接使用DataSource， 然后用Statement执行sql语句来进行数据的更新，更新为我们想要的字段。

PS：后来又遇到了在java的properties文件里，如果有中文，程序中解析出来是乱码的问题。查看了一下同事写的单元测试的基类DBUnitTest的代码，发现properties文件是通过Properties类来加载的 prop.load(new FileInputStream(file))。搜索了一下Properties类的load函数的定义，发现是因为

The input stream is in a simple line-oriented
format as specified in
load(Reader) and is assumed to use
the ISO 8859-1 character encoding;