github上有两个package做编码转换,都是基于iconv,用到了cgo,在linux下没有问题,在windows下用,非常麻烦.采用mingw安装libiconv也不行,一直提示找不到libiconv方法. 最终找到一个官方实现(纯go实现):https://code.google.com/p/go/source/checkout?repo=text gbk转utf-8示例: func gbk2utf8(str byte[]) ([]byte, error) { return iouti…

windows下py文件编码: 当print 时遇到unicode 会根据系统编码转换, 而raw_input 中的输出遇到unicode编码是不会的转码的,会报错UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-2: ordin al not in range(128) 因为uncode的编码的第一个字符大于128(0x7f) 下面的实验能证明: #coding:utf8 a=u'你好' print…

查看文件编码在Linux中查看文件编码可以通过以下几种方式:1.在Vim中可以直接查看文件编码:set fileencoding即可显示文件编码格式.如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你可以在~/.vimrc 文件中添加以下内容: set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936 这样,就可以让vim自动识别文件编码(可以自动识别UTF-8或者GBK编码的文件),其实就是依照 fileencodin…

问题1: Non-ASCII character '\xe9' in file 问题原因:程序编码上出现问题 解决方法:在程序头部加上代码 #-*- coding: UTF-8 -*- 设置代码编码为UTF8即刻正常运行 问题2: windows 下print 乱码 错误原因:源码文件的编码格式为utf-8,但是window的本地默认编码是gbk,所以在控制台直接打印utf-8的字符串当然是乱码了! 解决方法:比较通用的解决方法  完美兼容windows 和 ubuntu import sys…

注:转换操作均在Linux终端进行操作 DOS与Unix格式转换 安装工具:dos2unix.unix2dos # ubuntu apt-get install dos2unix apt-get install unix2dos # centos yum -y install ··· DOS格式转换为Unix格式 单个文件 dos2unix <filename> 多个文件(在文件夹下执行) find -type f | xargs dos2unix -o Unix格式转换为DOS格式 单个文件…

使用python2.7处理unicode的字符串,环境变量已设置PYTHONIOENCODING为utf-8,cmd编码为utf-8时print unicode字符串会报错[Errno 0]或[Errno 2] #coding:utf-8 import os os.system("chcp 65001") a = u"你好こんにちは" print a 此时会报错,如果字符串只含ASCII字符就不会报错 经查这是windows实现C函数的问题 https://bugs…

这是一个非经常见的功能,可是找了全网,竟然找不到,于是借鉴别人的批处理文件,改了下,就能够把整个文件夹的所有一次批量转换. 将这个bat文件暂定为,myConvert.bat,运行时就把这个bat文件放到要转换的文件夹,然后双击bat,就能够啦.以下把bat文件贴出来: rem path " "里面内容替换为TexturePacker的安装路径,将bat文件放在图片目录直接执行就能够了 @ech off path %path%;"c:\TexturePacker\bin&qu…

方法一: 安装markdown, pip install markdown, 安装好后,python -m markdown xxx.md -f xxx.html 方法二:安装markdown2, pip install markdown2, 安装好后, Scripts目录下将有 markdown2.py.如果你将Scripts加入了执行路径,可以 markdown2.py xxx.md > xxx.html. 缺点:转换后的html只有body的正文内容,没有html的head.…

1.安装转换工具:sudo apt-get install tofrodos 2.开始转换:fromdos grade.sh…

将项目中的代码转换为jade,使用html2jade批量转换 @echo off SETLOCAL ENABLEDELAYEDEXPANSION for %%i in (*.html) do ( html2jade --donotencode %%i -o dist ) ENDLOCAL…

参见:http://bbs.feng.com/read-htm-tid-107633.html 使用: sudo find *.txt -exec sh -c "iconv -f GB18030 -t UTF8 {} > {}.txt" \; 即可生成转后的文件:*.txt.txt…

Cocos2d-x默认字符串常量编码都是UTF8的,而Windows中的VC默认都是跟系统相同,比如简体Windows是GB2312或者GBK.繁体就是BIG5编码.而我们大多数中国人用VC编译出来的字符串常量也就是GBK编码的字符串.在Cocos2d-x界面上绘制的时候它是不知道的,只会认为这个是UTF8字符串,结果就出现了乱码.解决方式也很简单.找个头文件加入下面的代码 #ifdef WIN32   inline std::wstring AnsiToUnicode(const char*…

解决Linux文档显示中文乱码问题以及编码转换 解决Linux文档显示中文乱码问题以及编码转换 使vi支持GBK编码 由于Windows下默认编码是GBK,而linux下的默认编码是UTF-8,所以打开会变成乱码.因此,我们只需要改变一下配置文件,使得vi支持GBK 打开~/.vimrc文件 加上 1.let &termencoding=&encoding2.set fileencodings=utf-8,gbk 然后:wq保存并退出 再次打开vi就显示正常了. 将其它的编码的文件转换成u…

文章转自:http://www.liuhuadong.com/archives/68 vim.gvim在windows下中文乱码的终极解决方案在windows下vim的中文字体显示并不好,所以我们需要调整字体显示编码为utf-8,只有这样才能使用美观的中文.这时候可能出现很多中文乱码.如:文件显示乱码.菜单乱码.右键菜单乱码.conlse输出乱码.文件关联右键菜单乱码等等.网上很多解决办法,但我试了很多,都出现一些怪异的乱码,顾此失彼.有个简单的方法解决乱码问题:删除vim下的lang目录.但这…

Windows下的字符集转换可以使用WideCharToMultiByte/ MultiByteToWideChar,Linux下字符集转换可以使用iconv()函数,下面为使用boost的conv来进行字符集转换: #include <boost/locale/encoding.hpp> string UTF8toGBK(const string & str) { return boost::locale::conv::between(str, "GBK", &q…

转载:http://www.cnblogs.com/wanyao/p/3399269.html 最近,学习又重新开始Linux学习,所以一直在Centos中,昨天一朋友把他在Windows下写的C程序发给我,我欣然答应,本以为很快就能在我的Linux系统中运行起来.没想到出现了乱码,结果想把这个问题解决,一下子就搞了近三个小时没有解决.今天,又想起来这个问题,竟然一下子就解决了,现在把学到的一些东西总结如下. 首先Windows下的文件拿到Linux中来查看出现乱码是一种很常见的现象,这方面的资…

先简单说下什么是多字节和宽字节. 多字节是指使用多个字节(1-3)表示一个字符.比如gbk使用英文占一个字节,中文占2个,这个就是多字节了.utf-8是使用1-3个字节表示字符.还有big5等等. 宽字节一般是固定使用2个字节表示一个字符,utf-16(一般就是指unicode). 1.MultiByteToWideChar 多字节转宽字节 2.WideCharToMultiByte 宽字节转多字节 3.和utf8有关的字符转换,代码页CodePage=CP_UTF8. 4.代码页CodePag…

ubuntu打开windows下的txt或者代码文件,经常会出现乱码, ubuntu自带一种转换工具,是命令行的,下面提供一种最简单的方法进行转换 比如要转换的文件为1.txt,进入1.txt的目录 输入如下命令: iconv -f gbk -t utf8 -c .txt > .txt 然后打开2.txt,乱码消失了! 附:下面是iconv命令的参数列表 Input/Output format specification: -f, --from-code=NAME encoding of ori…

最近,学习又重新开始Linux学习,所以一直在Centos中,昨天一朋友把他在Windows下写的C程序发给我,我欣然答应,本以为很快就能在我的Linux系统中运行起来.没想到出现了乱码,结果想把这个问题解决,一下子就搞了近三个小时没有解决.今天,又想起来这个问题,竟然一下子就解决了,现在把学到的一些东西总结如下. 首先Windows下的文件拿到Linux中来查看出现乱码是一种很常见的现象,这方面的资料在网上也有很多.但解决方法大多都类似,有些概念没有解释清楚,也许是个人没有理解清楚. 尝试方法…

通常来说,Windows中默认的文件格式是GBK(gb2312),而Linux一般都是UTF-8,所以Linux下打开windows的文件会有乱码的情况.另外,有时要将文件进行编码转换,如将简体中文转换为繁体中文. 基于以上情况,本文将就在linux下查看和转换文件的编码进行说明. 1.查看文件的编码 1)在Vim中可以直接查看文件编码 :set fileencoding    即可显示文件编码格式. http://www.poluoluo.com/server/201011/98282.htm…

原贴http://topic.csdn.net/u/20101022/16/1b2e0cec-b9d2-42ea-8d9c-4f1bb8320a54.html?r=70149216 ,看过并动手实现,记录下来以备再用. 如果是在java层,有String类可以很好的转换各种编码,在ndk下面就没有现成的公开的工具,不过可以用icu4c. ICU4C 是IBM的国际化开发组件ICU的C语言实现版本.在android系统里也有实现.ndk里面并没有公开可用的api,需要自己加载动态库来调用转换函数.…

windows下一般系统编码为 GB2312(中文版的windows), 由于我比较喜欢utf8格式的编码,现将修改方式和大家分享 如果要使新建立工程.java文件直接使UTF-8则需要做以下工作: 1.windows->Preferences...打开"首选项"对话框,左侧导航树,导航到general->Workspace,右侧 Text file encoding,选择Other,改变为UTF-8,以后新建立工程其属性对话框中的Text file encoding即为U…

import java.util.Arrays;public class ArrayAsAReference{ public static void main(String[] args) { int[] arr = null; System.out.println(arr); arr = new int[]{1, 2, 3, 4}; // 静态创建数组对象 System.out.println(Arrays.toString(arr)); int[] prices; prices = new…

最近做一个项目需要将微信的语音文件放在页面进行播放,查了好多资料发现,web页面直接播放并没有一个好的解决方案,于是就想到了先将amr文件转换成易于在页面播放的mp3文件,然后在进行播放,现在将amr文件转化为mp3文件的几种方式以及踩过的坑分享一下: 查了好多资料,总结一下,amr转换mp3的方式有如下几种: 1.通过jave.jar包实现(不可以转微信及qq语音文件): 我用的是:jave-1.0.2.zip jave.jar包官方下载 2.通过ffmpeg.exe实现(不可以转微信及qq语…

linux相关   2008-10-07 10:46   阅读1392   评论0   字号: 大大  中中  小小  如果你需要在Linux中 操作windows下的文件,那么你可能会经常遇到文件编码转换的问题.Windows中默认的文件格式是GBK(gb2312),而Linux一般都是 UTF-8.下面介绍一下,在Linux中如何查看文件的编码及如何进行对文件进行编码转换. 查看文件编码 在Linux中查看文件编码可以通过以下几种方式: 1.在Vim中可以直接查看文件编码 :set file…

最近老猿在学习文件操作及网络爬虫相关知识,发现字符集及编码的处理非常重要,而老猿原来对此了解并不多,因此找了几篇文章看了一下,将老猿认为比较的相关文章转载一下.感谢各位原创大神! 1,字符集 这里主要讲两种字符集,DBCS和UCS DBCS即双字节编码字符集,最初的计算机只有ASCII码,发展至今,不能表示中文怎么办,于是中国人制定了GBK2312,以及后面陆续扩展并向下兼容的GBK,GB18030. Unicode学名是"Universal Multiple-Octet Coded Chasr…

当我们使用MinGW-w64作为编译器在windows系统环境下进行C语言编程时,如果源代码文件(.c)保存格式为Ansi格式,则在打印汉字时不会出现乱码:反之,如果我们使用UTF-8格式保存,则会出现乱码,需要在编译时加上"-fexec-charset=gbk"来解决乱码问题. #include <stdio.h> int main() { printf("%s\n", "你好,世界!"); return 0; } 那么,当我们使用…

最近开始正式接触Thrift架构,很牛B的技术,它被apache收纳了,属于开源中的一员,呵呵. 概念: Thrift源于大名鼎鼎的facebook之手,在2007年facebook提交Apache基金会将Thrift作为一个开源项目,对于当时 的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传 输通信以及系统之间语言环境不同需要跨平台的特性.所以thrift可以支持多种程序语言,例如:  C++, C#, Cocoa, Erlang, Haskell,…

在windows下的vim默认字符集修改 之前使用vim编辑器的时候碰到乱码的问题,后来在网上看了记下了:在vim编辑器中按esc进入命令模式 1.修改vim内部编码    set encoding=utf-8    set fileencoding=utf-82.打开文件时识别文件编码    如:set fileencodings=utf-8,cp936---(即可设置多个编码) (3.如在终端环境下使用vim 如:set termencoding=utf-8)[这个基本用不上] 总结设置方法…

MySQL数据库在WINDOWS系统CMD下的编码问题 1. 查看MySQL数据库编码 * SHOW VARIABLES LIKE 'char%'; 2. 编码解释 * character_set_client:MySQL使用该编码来解读客户端发送过来的数据,例如该编码为UTF8,那么如果客户端发送过来的数据不是UTF8,那么就会出现乱码 * character_set_results:MySQL会把数据转换成该编码后,再发送给客户端,例如该编码为UTF8,那么如果客户端不使用UTF8来解读,那…