sql server 不可见字符处理 总结
问题描述:在表列里有肉眼不可见字符,导致一些更新或插入失败。 几年前第一次碰见这种问题是在读取考勤机人员信息时碰见的,折腾了一点时间,现在又碰到了还有点新发现就顺便一起记录下。
如下图所示 golds字段 看上去5个字符,长度则为44 ,可判断有特殊字符存在此列中。
基础知识准备
贴几个常用函数
1、获取字符的ASCII码 ASCII
ASCII码是对字符的标准编码。要获取字符的ASCII码就可以通过调用ASCII函数来实现。
语法结构:
ASCII(espression)
这里的expression是一个返回char或varchar数据类型的表达式,ASCII函数仅对表达式最左侧的字符返回ASCII码值。--这个是重点
返回值:int数据类型。
示例:
select ASCII('f') --输出 102
注意如果是多个字符的字符串,也只是返回第一个字符的ASCII码值。
2、获取ASCII码对应的字符 Char
语法结构:
char(integer_expression)
返回值类型:char型字符
示例:
select char(102) -- 输出f
3、获取字符的unicode编码 Unicode
unicode函数可以获得字符的unicode编码。
语法结构:
unicode('ncharacter_expression')
这里的ncharacter_expression是nchar或nvarchar类型的表达式。函数仅会返回第一个字符的unicode编码。
返回值:int类型数据
示例:
SELECT Unicode('飞') -- 输出 39134
4、获取unicode编码对应的字符nchar
nchar能够根据unicode标准的定义,返回具有指定的整数代码的unicode字符。
语法结构:
nchar(integer_expression)
返回值:unicode字符
示例:
SELECT nchar(39134) -- 输出 飞
5、获取字符串长度LEN
len函数用于获取字符串的长度(字符数),但不包括右边的空格。左边的空格和右边的空格计算在内。
语法结构:
len( string_expression )
参数说明:
string_expression:要计算长度的字符串。
返回值:expression数据类型为varchar(max)、nvarchar(max)或varbinary(max),则为bigint。否则为int。
示例:
select len('天下之大,无奇不有') -- 输出 9
6、REPLACE
用另一个字符串值替换出现的所有指定字符串值。
语法如下:
REPLACE ( string_expression1 , string_expression2 , string_expression3 )
参数
string_expression1:要搜索的字符串表达式。string_expression1 可以是字符或二进制数据类型。
string_expression2:要查找的子字符串。string_expression2 可以是字符或二进制数据类型。
string_expression3:替换字符串。string_expression3 可以是字符或二进制数据类型。
SELECT REPLACE('abcde','abc','xxx') --xxxde
7 、指定位置搜索字符串中的内容CHARINDEX
charindex函数用于在指定的字符串中搜索特定的字符串,并可以指定开始搜索的位置,返回第一次找到目标字符串的字符数。
语法结构:
charindex ( expression1 , expression2 [ , start_location] )
参数说明:
expression1:一个字符串数据类型的表达式,其中包含要查找的字符的序列。
expression2:一个字符串数据类型的表达式,通常是一个为指定序列搜索的列。
start_location:开始在expression2中搜索expression1是的字符位置。如果start_location未被指定、是一个负数或零,则将从expression2的开头开始搜索。 start_location可以是bingint类型。
返回值:如果expression2的数据类型为varchar(max)、nvarchar(max)或varbinary(max),则为bigint,否则为int。
示例:
select charindex('456','123456789') -- 输出 4 从123456789中检索456出现的位置
select charindex('456','123456789',4) -- 输出 4
问题处理
以前言中描述的例子为例(个人习惯处理方式供参考,如果你的肉眼自带反隐功能可略过下文)
先查看左右边字符和肉眼所见是否吻合结果如下图
初步断定不可见字符在右边,因为第三个的查询结果不是0而是空(可能是字符串空吧'')
转载注明出处:http://www.cnblogs.com/zzry/p/5729404.html
接着查看它的ascii编码值
查看ascii表,ASCII 非打印控制字符:ASCII 表上的数字 0–31 分配给了控制字符,用于控制像打印机等一些外围设备。
得到结论1:右边第一个不可见字符是个控制字符(对应char(0),为什么是char(0)上面贴的基础知识有讲)
一般到这里就结束了,查到了是什么字符,然后用replace函数替换成字符串空完事,下面将其处理掉时发现失败
上面查到了是char(0)在作祟,而且我循环输出golds字段右边的字符发现有39个char(0),方便理解,简化问题,改为下图对比着看
初步断定在@a里没找到
继续追踪原因
原来如此,charindex都找不到它,得right一下才把这根刺挑出来。当是char(1)等等的时候是可以的,replace(@a,char(1) ,'a')
这样是成功的,char(0)对应空字元,不对应数据库的NULL哦。
既然这样,那就用截取字符串的方法把需要的信息拿出来,框架大概如下,套个循环。当然也有可能有更好的方法,仅供参考
转载注明出处:http://www.cnblogs.com/zzry/p/5729404.html
loop
UPDATE TblName SET
ColName = LEFT(ColName,LEN(ColName)-1)
WHERE ASCII(RIGHT( ColName ,1))=0
end loop
下面共享个通用处理指定表中所有列中所有不可见字符的处理脚本,实测可用。
SET NOCOUNT ON
DECLARE @TblName VARCHAR(100)
DECLARE @UpdateString NVARCHAR(1000)
DECLARE @SelectString NVARCHAR(1000)
DECLARE @COlName VARCHAR(100)
DECLARE @COUNT INT
SET @TblName = '表名称'--指定想要修改的表名
--定义游标取出指定表内的数据类型是VARCHAR,char,nVARCHAR的字段名称
DECLARE cur_ColName CURSOR
FOR
SELECT col.name
FROM syscolumns AS col
inner join sysobjects AS obj ON col.ID = obj.ID
INNER join systypes AS typ ON col.xtype = typ.xtype
WHERE obj.xtype ='U'
AND obj.name = @TblName
AND typ.name IN ('VARCHAR','CHAR','NVARCHAR','NCHAR')
FOR READ ONLY
--打开游标
OPEN cur_ColName
FETCH NEXT FROM cur_ColName INTO @ColName
IF @@FETCH_STATUS<>0
BEGIN
PRINT '没有对应表或字段,'PRINT '请确认当前数据库内有' + @TblName + '表,' PRINT '或该表内有VARCHAR、CHAR、NVARCHAR、NCHAR类型的字段!' GOTO LABCLOSE
END--循环修改
WHILE @@FETCH_STATUS=0
BEGIN
--拼修改字符串
--去掉左边的不可见字符
SET @SelectString = 'SELECT @COU=COUNT(*)
FROM ' + @TblName +'
WHERE ASCII(LEFT(' + @ColName +',1))<32
AND '+ @ColName + ' IS NOT NULL'
EXEC sp_executesql @SelectString,N'@COU INT OUTPUT',
@COUNT OUTPUT WHILE @COUNT>0
BEGIN
SET @UpdateString =
' UPDATE ' + @TblName +
' SET ' + @ColName + '=RIGHT(' + @ColName + ',LEN(' + @ColName + ')-1)
WHERE ASCII(LEFT(' + @ColName + ',1))<32
AND ' + @ColName + ' IS NOT NULL'
EXEC sp_executesql @UpdateString
EXEC sp_executesql @SelectString,N'@COU INT OUTPUT',@COUNT OUTPUT
END
--去掉右边的不可见字符
SET @SelectString = 'SELECT @COU=COUNT(*)
FROM ' + @TblName +'
WHERE ASCII(RIGHT(' + @ColName +',1))<32
AND '+ @ColName + ' IS NOT NULL'
EXEC sp_executesql @SelectString,N'@COU INT OUTPUT',
@COUNT OUTPUT WHILE @COUNT>0
BEGIN
SET @UpdateString = ' UPDATE ' + @TblName + ' SET '
+ @ColName + '=LEFT(' + @ColName + ',LEN(' + @ColName + ')-1)
WHERE ASCII(RIGHT(' + @ColName + ',1))<32
AND ' + @ColName + ' IS NOT NULL'
EXEC SP_EXECUTESQL @UpdateString
EXEC sp_executesql @SelectString,N'@COU INT OUTPUT',
@COUNT OUTPUT
END
PRINT 'column: ' + @ColName + '---ok'
FETCH NEXT FROM cur_ColName INTO @ColName
END
--关闭、释放游标
LABCLOSE: CLOSE cur_ColName
DEALLOCATE cur_ColName
GO
sql server 不可见字符处理 总结的更多相关文章
- sql server 小技巧(5) Sql server 获取指定字符后的所有字符 - 去掉指定字符前的所有字符
select top 10 SUBSTRING( sproductcode, CHARINDEX('-', SProductCode)+1, LEN(SProductCode)) from csmr ...
- Sql Server系列:字符串函数
字符串函数用于对字符和二进制字符串进行各种操作,大多数字符串函数只能作用于char.nchar.varchar和nvarchar数据类型.字符串函数可以用在SELECT或者WHERE语句中. 1. A ...
- sql server中常用方法函数
SQL SERVER常用函数 1.DATEADD在向指定日期加上一段时间的基础上,返回新的 datetime 值. (1)语法: DATEADD ( datepart , number, date ) ...
- SQL Server 常用函数
1.DATEADD 在向指定日期加上一段时间的基础上,返回新的 datetime 值. 语法 DATEADD ( datepart , number, date ) 参数 datepart 是规定应向 ...
- sql server 基础教程[温故而知新三]
子曰:“温故而知新,可以为师矣.”孔子说:“温习旧知识从而得知新的理解与体会,凭借这一点就可以成为老师了.“ 尤其是咱们搞程序的人,不管是不是全栈工程师,都是集十八般武艺于一身.不过有时候有些知识如果 ...
- sql server中的varchar和Nvarchar有什么区别?
很多开发者进行数据库设计的时候往往并没有太多的考虑char, varchar类型,有的是根本就没注意,因为存储价格变得越来越便宜了,忘记了最开始的一些基本设计理论和原则,这点让我想到了现在的年轻人,大 ...
- SQL Server 与MySQL中排序规则与字符集相关知识的一点总结
字符集&&排序规则 字符集是针对不同语言的字符编码的集合,比如UTF-8字符集,GBK字符集,GB2312字符集等等,不同的字符集使用不同的规则给字符进行编码排序规则则是在特定字符集的 ...
- 数据库技术丛书:SQL Server 2016 从入门到实战(视频教学版) PDF
1:书籍下载方式: SQL Server2016从入门到实战 PDF 下载 链接:https://pan.baidu.com/s/1sWZjdud4RosPyg8sUBaqsQ 密码:8z7w 学习 ...
- 五、Sql Server 基础培训《进度5-数据类型(知识点+实际操作)》
知识点: ================================================= ============================================= ...
随机推荐
- html5标签的兼容性处理
HTML5的语义化标签以及属性 1.可以让开发者非常方便地实现清晰的web页面布局,加上CSS3的效果渲染,快速建立丰富灵活的web页面显得非常简单 2.使用他们能让代码语义化更直观,而且更方便SEO ...
- Android-->RxJava2更新体验
截止日前最新版2017-3-15: RxJava compile ‘io.reactivex:rxjava:’ compile ‘io.reactivex:rxandroid:’ RxJava2 co ...
- git图形管理工具
在windows下使用git命令行工具对非开发人员还是挺困难的,还好有TortoiseGit这个工具svn客户端用TortoiseSVNgit客户端用TortoiseGit 网址:https://to ...
- office密匙
office 2010 VYBBJ-TRJPB-QFQRF-QFT4D-H3GVB 6QFDX-PYH2G-PPYFD-C7RJM-BBKQ8 BDD3G-XM7FB-BD2HM-YK63V-VQFD ...
- [转载]AngularJS入门教程00:引导程序
我们现在开始准备编写AngularJS应用——phonecat.这一步骤(步骤0),您将会熟悉重要的源代码文件,学习启动包含AngularJS种子项目的开发环境,并在浏览器端运行应用. 进入angul ...
- POJ 3181 Dollar Dayz(递推,两个long long)
题意:John有N美元,有价格为1~K的工具,可以买的个数不限,问1~K组合出N的方案数. f[i = 第i中工具][j = 花费为j] = 方案数. f[i][j] = sigma{ f[i-1][ ...
- opencv使用 findContours
http://www.jb51.net/article/132217.htm https://www.jianshu.com/p/4bc3349b4611 https://blog.csdn.net/ ...
- 多GPU设备处理点积示例
多GPU设备处理点积示例,项目打包下载 /* * Copyright 1993-2010 NVIDIA Corporation. All rights reserved. * * NVIDIA Cor ...
- java基础编程——重建二叉树
题目描述 输入某二叉树的前序遍历和中序遍历的结果,请重建出该二叉树.假设输入的前序遍历和中序遍历的结果中都不含重复的数字.例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7, ...
- Winform导入Excel数据到数据库
public partial class ImportExcel : Form { AceessHelpers accessHelper = new AceessHelpers(); public I ...