今天在上传CSV文件的时候,Windows下调试一切正常.妈的一到Linux下面,就出现问题,第一行数据总是读取不出来, 利用print_r()打印出读取文件的内容,发现有一个很奇怪的字符在作怪.为什么第一个字符会出现重叠的问题呢.经排除发现是文件的编码格式不对. 在Windows下面,转码后的CSV的编码格式为以带BOM的UTF-8格式编码,在Linux下面不支持BOM,因此在notepad++里面讲文件的格式转换成不在BOM的UTF-8格式编码,再次上传文件,在Linux下面运行一切正常.…

这是一篇翻译文章,原文链接 http://blog.grayproductions.net/articles/understanding_m17n.原文是一个系列,翻译过来整合成了一篇文章,对文章内容做了适当的变化.因为原文是三年前写的,其中某些代码片段的执行结果和最新版本的 Ruby 相比可能会有所不同. Ruby 在进入 1.9 版本时发生了重大的变化,以前 Ruby 堪称是对字符编码支持最差的语言之一,而现在变成了支持最好的语言之一,可以处理不同的字符编码.我们都在成长. 而这一变化带来的…

转自:http://blog.csdn.net/gqtcgq/article/details/47068817 一:字符编码简介          1:ASCII          最初的计算机的使用是在美国,所用到的字符也就是现在键盘上的一些符号和少数儿个特殊的符号,一个字节所就能足以容纳所有的这些字符,实际上表示这些字符的字节最高位都为0,也就是说这些字节都在0到127之间,如字符a对应数字97.这套编码规则被称为ASCII(美国标准信息交换码).          2:GBK.GB2312…

我们的代码里面有一个bug 为了跟之前兼容的策划导表工具兼容 导表工具导出的excel全部都是ansi的 为了兼容就只能手动改成utf 8 无bom格式 后来策划嫌烦了 就让在程序段处理这个 研究了好久vba就是搞不定 后来google到一份代码 http://my.oschina.net/ffs/blog/311788 这个大牛的 解决2dx中文乱码的问题 这都是同一个问题 套用一下 bingo 搞定了 感谢这位大牛 void WStrToUTF8(std::string& dest, con…

导出csv 第一步 Controller类里调用 OrderParamsVo 传入的参数 orderService.findBuyCSV 查询到要导出的信息 /** * 购买订单CSV * OrderParamsVo 传入的参数 */ @RequestMapping("findBuyCSV") @ResponseBody public JsonResult findBuyCSV(OrderParamsVo params, HttpServletResponse response) {…

1.list can hold  arbitrary  objects and can expand dynamically as new items are added. A list is an  ordered  set of items. 2.A tuple is an  immutable list. A tuple can not be changed in any way once it is created. 3.A set is an  unordered “bag”  of…

字符编码,就是对日常的控制符号.文字和常用符号的二进制表示.为了准确的表示如何编号,怎么生产八位字节流,Unicode Technical Report (UTR) #17提出现代编码模型的5个层次: 1.  抽象字符表:系统所支持的所有抽象字符的集合 2. 编码字符集:就是通过某种规则把抽象字符映射到编码空间的一个码位 3. 字符编码表:把码位转换成有限位长的整数值串,utf-8等. 4. 字符编码方案:把定长的整数转化为8bit 5. 传输编码语法:为了满足传输的需要,进一步处理字节流,ba…

要理解乱码问题,首先需要理解几个概念:字符集.编码.编码规则.乱码 1. 字符集: 字符(Character)是各种文字和符号的总称,包括各国家文字.标点符号.图形符号.数字等.字符集(Character set)是多个字符的集合,字符集种类较多,每个字符集包含的字符个数不同,常见字符集名称:ASCII字符集.GB2312字符集.BIG5字符集. GB18030字符集.Unicode字符集等.其实字符集简单了来说,就是一张表格,是 id 和字符的对应表. 2. 各种编码: 一种编码格式必须选定一…

一.集合(set) 1.集合的定义 set 是一个无序的元素集合,支持并.交.差及对称差等数学运算, 但由于 set 不记录元素位置, 因此不支持索引.分片等类序列的操作. 2.集合的创建 大括号或 set() 函数可以用来创建集合. 注意:想要创建空集合,你必须使用set() 而不是 {} . {}用于创建空字典 list = [1,3,2,4,2,5,7] list = set(list) #将列表转成集合,集合用{}表示 print(list,type(list))#输出结果为:{1, 2…

二次编码.解码.小数据池: encode(str:编码):参数编码方式,返回字节码. str_1 = "编码" str_2 = str_1.encode("utf-8") # 使用utf-8进行编码 print(str_2) # 打印内容如下 b'\xe7\xbc\x96\xe7\xa0\x81' decode(str:编码):参数编码方式,返回解码后的结果. str_1 = "编码" str_2 = str_1.encode("utf…

Java 字符编码(一)Unicode 字符编码 Unicode(http://www.unicode.org/versions/#TUS_Latest_Version) 是一个编码方案,说白了希望给世界上每一种文字系统的每一个字符,都分配一个唯一的整数,这样就不可能有任何冲突了. 一.字符编码规范 1.1 ASCII(American Standard Code for Information Interchange) 美国信息交换标准代码,这是计算机上最早使用的通用的编码方案.那个时候计算机…

在做项目时碰到使用外语的情况下,我们就会使用UTF-8编码.但是,在用PHP导出CSV文件时,如果写入的数据是使用UTF-8编码的日语.韩语之类的外文,就会出现乱码. 要解决PHP生成CSV文件的乱码问题,只需要在文件的开始输出BOM头,告诉windows CSV文件的编码方式,从而让Excel打开CSV时采用正确的编码. 什么是BOM 在UCS 编码中有一个叫做”ZERO WIDTH NO-BREAK SPACE”的字符,它的编码是FEFF.而FFFE在UCS中是不存在的字符,所以不应该出现在…

1.编程语言介绍 编程就是写代码,让计算机帮你做事情.计算机底层是电路,只认识二进制0和1.机器语言&汇编语言语言进化历史:机器.汇编.高级.机器语言只接受二进制代码:汇编语言是采用英文缩写的标识符,更容易识别和记忆,只是对0和1进行代替:高级语言,把好多机器指令变成一句话了,如C\C++.java.PHP.python.GO等.它们的区别:在于转换二进制的方式不同.C\C++运行速度快,python.Java.php运行速度比较慢. 编译类:先翻译成二进制,产生两个文件,运行的时候是二进制文件…

1.response 代表响应, 可以理解为一个空的箱子,我们在里面填入要发送到浏览器的内容. 服务器会把这些内容组装成http响应. 1.1 响应首行 协议/版本号 状态码 状态码描述 添加状态码 和 描述 void setStatus(int sc) 只设置状态码 void setStatus(int sc, String sm) 设置状态码和描述 void sendError(int sc) 只设置状态码,错误的 void sendError(int sc, String msg) 设置状…

原文:http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html https://www.key-shortcut.com/en/character-tables/unicode-3000-3fff/ https://baike.baidu.com/item/Unicode/750500?fr=aladdin UTF-32 UTF-32编码以32位无符号整数为单位.Unicode的UTF-32编码就是其对应的32位无符号…

1:es介绍          Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎.设计用于云计算中,          能够达到实时搜索,稳定,可靠,快速,安装使用方便.基于RESTful接口.          普通请求是...get?a=1          rest请求....get/a/1 2:全文搜索的工具有哪些          Lucene Solr Elasticsearch         3:es的bulk的引用场景 1.bulk API可以帮助我…

QString编码:UTF-16 QString内部保存的数据就是QChar数组,是Unicode编码(utf16),在字符显示,操作的时候都是基于Unicode. QString构造时默认采用Latin-1编码转为Unicode保存. 所以如果字符数据不是Latin-1编码,那么就需要使用QString::from***函数来构造然后转为Unicode存储. 也可以使用强大的QTextCodec,首先QTextCodec肯定知道自己所负责的编码的,当你把一个char串送给它,就能正确将其转成U…

转载: 谈谈Unicode编码,简要解释UCS.UTF.BMP.BOM等名词 这是一篇程序员写给程序员的趣味读物.所谓趣味是指可以比较轻松地了解一些原来不清楚的概念,增进知识,类似于打RPG游戏的升级.整理这篇文章的动机是两个问题: 问题一: 使用Windows记事本的"另存为",可以在GBK.Unicode.Unicode big endian和UTF-8这几种编码方式间相互转换.同样是txt文件,Windows是怎样识别编码方式的呢? 我很早前就发现Unicode.Unicode…

这是一篇程序员写给程序员的趣味读物.所谓趣味是指可以比较轻松地了解一些原来不清楚的概念,增进知识,类似于打RPG游戏的升级.整理这篇文章的动机是两个问题: 问题一: 使用Windows记事本的“另存为”,可以在GBK.Unicode.Unicode big endian和UTF-8这几种编码方式间相互转换.同样是txt文件,Windows是怎样识别编码方式的呢? 我很早前就发现Unicode.Unicode big endian和UTF-8编码的txt文件的开头会多出几个字节,分别是FF.FE(…

(转载 谈谈Unicode编码,简要解释UCS.UTF.BMP.BOM等名词 这是一篇程序员写给程序员的趣味读物.所谓趣味是指可以比较轻松地了解一些原来不清楚的概念,增进知识,类似于打RPG游戏的升级.整理这篇文章的动机是两个问题: 问题一: 使用Windows记事本的“另存为”,可以在GBK.Unicode.Unicode big endian和UTF-8这几种编码方式间相互转换.同样是txt文件,Windows是怎样识别编码方式的呢? 我很早前就发现Unicode.Unicode big e…

定义BOM(Byte Order Mark),字节顺序标记,出现在文本文件头部,Unicode编码标准中用于标识文件是采用哪种格式的编码.它的编码是FEFF. 说明 在 UTF-8 文件中放置 BOM 主要是微软的习惯 UTF-8 不需要 BOM,尽管 Unicode 标准允许在 UTF-8 中使用 BOM.但不含 BOM 的 UTF-8 才是标准形式.UTF-8 的网页代码不应使用 BOM,否则常常会出错. 为什么BOM不受欢迎 主要问题出在UNIX那个所有脚本语言通行的首行#!标示,这东西依…

BOM——Byte Order Mark,就是字节序标记 在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符,它的编码是FEFF.而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中.UCS规范建议我们在传输字节流前,先传输 字符"ZERO WIDTH NO-BREAK SPACE".这样如果接收者收到FEFF,就表明这个字节流是Big-Endian的:如果收到FFFE,就表明这个字节流是Little-Endian的.因…

转自:http://blog.csdn.net/a921800467b/article/details/8579510 为什么会报错“UnicodeEncodeError:'ascii' codec can't encode characters in position 0-1: ordinal notin range(128)”?本文就来研究一下这个问题.字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(…

python encode和decode函数说明 字符串编码常用类型:utf-8,gb2312,cp936,gbk等. python中,我们使用decode()和encode()来进行解码和编码 在python中,使用unicode类型作为编码的基础类型.即 decode              encode str ---------> unicode --------->str u = u'中文' #显示指定unicode类型对象u str = u.encode('gb2312') #以…

字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码. decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode('gb2312'),表示将gb2312编码的字符串str1转换成unicode编码. encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode('gb2…

edu.codepub.com/2009/1029/17037.php 这个问题在python3.0里已经解决了. 这有篇很好的文章,可以明白这个问题: 为什么会报错“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”?本文就来研究一下这个问题.字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为…

字符串编码常用类型:utf-8,gb2312,cp936,gbk等. python中,我们使用decode()和encode()来进行解码和编码 在python中,使用unicode类型作为编码的基础类型.即 decode              encode str ---------> unicode --------->str u = u'中文' #显示指定unicode类型对象u str = u.encode('gb2312') #以gb2312编码对unicode对像进行编码str…

FAQ - UTF-8, UTF-16, UTF-32 & BOM http://www.unicode.org/faq/utf_bom.html General questions, relating to UTF or Encoding Form Q: Is Unicode a 16-bit encoding? A: No. The first version of Unicode was a 16-bit encoding, from 1991 to 1995, but starting…

转(http://www.codeceo.com/article/java-string-ansi-unicode-bmp-utf.html#0-tsina-1-10971-397232819ff9a47a7b7e80a40613cfe1) 概念总结 早期,互联网还没有发展起来,计算机仅用于处理一些本地的资料,所以很多国家和地区针对本土的语言设计了编码方案,这种与区域相关的编码统称为ANSI编码(因为都是对ANSI-ASCII码的扩展).但是他们没有事先商量好怎么相互兼容,而是自己搞自己的,这样…

UTF? UTF,是UnicodeTransformationFormat的缩写,意为Unicode转换格式. 即怎样将Unicode定义的数字转换成程序数据.utf是对Unicode的一种编码格式化. JVM里面的任何字符串资源都是Unicode,就是说,任何String类型的数据都是Unicode编码.没有例外.既然只有一种编码,那么,我们可以这么说,JVM里面的String是不带编码的.String相当于 char[].  JVM里面的 byte[] 数据是带编码的.比如,Big5,GBK…