你需要的是让编码用实际编码而不是 ascii    1 对需要 str->unicode 的代码,可以在前边写上  import sys  reload(sys)  sys.setdefaultencoding('utf8')  把 str 编码由 ascii 改为 utf8 (或 gb18030)      2.  python3 区分了 unicode str 和 byte arrary,并且默认编码不再是 ascii   3. 字符串转为unicode 判断是不是unicode : isi…

python2 str 编码检测 import chardet s = 'sdffdfd' print type(s) print chardet.detect(s) s2 = '反反复复' print type(s2) print chardet.detect(s2) s3 = u'反反复复'.encode('utf-8') print type(s3) print chardet.detect(s3) # <type 'str'> # {'confidence': 1.0, 'encodi…

python2#print() print'abc'#range() xrange()生成器#raw_input() python3# print('abc')# range()# input() = 赋值== 比较值是否相等is 比较的是内存地址是否一致,返回True or Falseid(内容) 返回内容 li1 =[1,2,3] li2 =li1 #赋值 print(li1 is li2) #True print(id(li1),id(li2))#48358464 48358464 小数据…

在python2x版本中 关于中文汉字转换 1.中文------字符串格式 >>> s = '汉字' >>> type(s) <type 'str'> 默认汉字类型是:str 打印 s 时会显示如下内容:反斜杠和字母组合,一个汉字对应两组这样的组合 '\xba\xba\ 对应 ‘汉’ >>> s '\xba\xba\xd7\xd6' 2.中文------汉字Unicode编码格式 >>> s1 = u'汉字' >&g…

1. 问题发现: 出现:读取文件,对其进行解码,出现错误,AttributeError: 'str' object has no attribute 'decode' 解释:属性错误,str对象不包含‘decode’属性. 2.原因解释: 出现问题原因:str与bytes表示的是两种数据类型,str为字符串型,bytes为字节型.对str编码encode得到bytes,对bytes解码得到str,两者互为转换.而上面出现问题的原因是对str字符串使用了解码,显然是猪头不对马尾. 3.解决方法:…

早上被python的编码搞得抓耳挠腮,在搜资料的时候感觉这篇博文很不错,所以收藏在此. python2.x中处理中文,是一件头疼的事情.网上写这方面的文章,测次不齐,而且都会有点错误,所以在这里打算自己总结一篇文章. 我也会在以后学习中,不断的修改此篇博客. 这里假设读者已有与编码相关的基础知识,本文不再再次介绍,包括什么是utf-8,什么是unicode,它们之间有什么关系. str与字节码 首先,我们完全不谈unicode. s = "人生苦短" s是个字符串,它本身存储的就是字节…

最近业务中需要用 Python 写一些脚本.尽管脚本的交互只是命令行 + 日志输出,但是为了让界面友好些,我还是决定用中文输出日志信息. 很快,我就遇到了异常: UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128) 为了解决问题,我花时间去研究了一下 Python 的字符编码处理.网上也有不少文章讲 Python 的字符编码,但是我看过一遍,觉得自己…

python2.x中处理中文,是一件头疼的事情.网上写这方面的文章,测次不齐,而且都会有点错误,所以在这里打算自己总结一篇文章. 我也会在以后学习中,不断的修改此篇博客. 这里假设读者已有与编码相关的基础知识,本文不再再次介绍,包括什么是utf-8,什么是unicode,它们之间有什么关系.str与字节码 首先,我们完全不谈unicode. ? 1 s = "人生苦短" s是个字符串,它本身存储的就是字节码.那么这个字节码是什么格式的? 如果这段代码是在解释器上输入的,那么这个s的格式…

下面的代码实现了一个用于C++中转码的类strCoding.里面有UTF8.UNICODE.GB2312编码的互相转换. .H文件: #pragma once #include <iostream> #include <string> #include <windows.h> using namespace std; class strCoding { public: strCoding(void); ~strCoding(void); void UTF_8ToGB23…

对于Python的字符编码问题也懵了很久,最近做爬虫多次遇到网页转码的问题,干脆彻底解决掉!Just Do it! 1.两种类型str与unicode str和unicode都是basestring的子类.严格意义上说,str其实是字节串,它是unicode经过编码后的字节组成的序列.对 UTF-8编码的str'汉'使用len()函数时,结果是3,因为实际上,UTF-8编码的'汉' == '\xE6\xB1\x89'. unicode才是真正意义上的字符串,对字节串str使用正确的字符编码进行解…

python unicode bytes str 编码 首先需要说明一下,该篇文章是以python3为基础的,python2是否适合没有验证过.由于python编码问题确实比较多,文章篇幅可能较长,请耐心看完,绝对物超所值,何况还是免费的,只求转载的时候注明出处,谢谢! 一. 简单的编码介绍 平常我们可能听说过很多编码格式,如 ASCII码,Unicode,utf-8,gbk等等.为了不让文章臃肿,所以在这不再赘述,如想了解,请跳转到这个链接.各种字符编码介绍 但是py3里,只有 unicode…

#!/usr/bin/env python3 # -*- coding: utf-8 -*- __author__ = '人生入戏' #python3在编码时会把str编码成utf-8的bytes类型(gbk的bytes类型),再解码为utf-8.gbk等等 msg = "你好" # unicode print(msg.encode())#默认utf-8 print(msg.encode().decode()) print(msg.encode('gbk')) print(msg.en…

Python中的str与unicode处理方法 2015/03/25 · 基础知识 · 3 评论· Python 分享到:42 原文出处: liuaiqi627 的博客    python2.x中处理中文,是一件头疼的事情.网上写这方面的文章,测次不齐,而且都会有点错误,所以在这里打算自己总结一篇文章. 我也会在以后学习中,不断的修改此篇博客. 这里假设读者已有与编码相关的基础知识,本文不再再次介绍,包括什么是utf-8,什么是unicode,它们之间有什么关系. str与字节码 首先,我们完全…

二次编码.解码.小数据池: encode(str:编码):参数编码方式,返回字节码. str_1 = "编码" str_2 = str_1.encode("utf-8") # 使用utf-8进行编码 print(str_2) # 打印内容如下 b'\xe7\xbc\x96\xe7\xa0\x81' decode(str:编码):参数编码方式,返回解码后的结果. str_1 = "编码" str_2 = str_1.encode("utf…

python2中字符串分为2种类型: 字节类型:str,字节类型,通过decode()转化为unicode类型 unicode类型:unicode ,通过encode转化为str字节类型 字节类型 和 unicode类型的转化: 字节类型通过decode转化为unciode类型 unciode类型通过encode方法转化为直接类型 方法的使用和python3相同,但是在方法中默认的编码方式为ascii, 对中文需要手动指定为utf-8 python3中字符串分为2种类型: str:unicode…

在编写python程序的过程中,中英文混用经常会出现编码问题.围绕此问题,本文首先介绍编码的含义及常用编码,随后列举几个python经常遇到的编码异常及解决方法,接着列举笔者在实践中遇到的异常出现的情景及原因,最后针对编码问题提出最佳实践. 一 常见编码 1.1 unicode编码 在文本文件中,看到的所有字符,包括中文,都需要在计算机中存储,而计算机只能存储0和1这样的二进制位,所以需要一种方法,将字符映射成数字,然后将数字转化为二进制位存储在计算机中.针对字符和数字的映射的问题,产生了uni…

str.bytes和bytearray简介 str是字符数据,bytes和bytearray是字节数据.它们都是序列,可以进行迭代遍历.str和bytes是不可变序列,bytearray是可变序列,可以原处修改字节. bytes和bytearray都能使用str类型的通用函数,比如find().replace().islower()等,不能用的是str的格式化操作.所以,如有需要,参考字符串(string)方法整理来获取这些函数的使用方法. str str将各个字符组合在一起,以一种不可变序列进…

python2和python3区别 print python2中,print 是语句 :用法 ---->print '***' python3中,print 是函数:用法----->print('***') 不过python2.6和python2.7是允许使用部分python3的语法和函数的.比如print函数就可以 xange()  range() python2 :xrange()函数用法与range完全相同,只是返回的是一个"xrange object"对象(生成器)…

主要内容:     1.Unicode 和 UTF-8的爱恨纠葛     2.字符在硬盘上的存储     3.编码的转换     4.验证编码是否转换正确     5.Python bytes类型 前言: 学习Python,字符编码间的转换是绕不过去的一只拦路虎,不把编码彻底搞明白,总有一天它会猝不及防坑你一把. Python2.x和Python3.x在字符编码的设置上也有很大区别(Python3未来将是主流,所以Python3为主),今天我们就来一起学习下. 上一篇文章里我已经简述了Pytho…

// 解码用 decodeURIComponent(str) // 编码用 encodeURIComponent(str)…

原文出处:http://blog.jobbole.com/42246/ 本文首先阐述了人们关于统一资源定位符(URL)编码的普遍的误读,其后通过阐明HTTP场景下的URL encoding 来引出我们经常遇到的问题及其解决方案.本文并不特定于某类编程语言,我们在Java环境下阐释问题,最后从Web应用的多个层次描述如何解决URL编码的问题来结尾. 简介 当我们每天上网冲浪时,有一些技术我们无时无刻不在面对.有数据本身(网页),数据的格式化,能够让我们获取数据的传输机制,以及让Web网络能够真正成…

以下内容转载自: http://in355hz.iteye.com/blog/1860787 最近业务中需要用 Python 写一些脚本.尽管脚本的交互只是命令行 + 日志输出,但是为了让界面友好些,我还是决定用中文输出日志信息. 很快,我就遇到了异常: UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal notin range(128)  为了解决问题,我花时间去研究了一下 Pyt…

原文出处: lunatech   译文出处:oschina - 桔子, lwei, 史涛, Khiyuan, super0555, LinuxQueen, 抛出异常的爱 本文首先阐述了人们关于统一资源定位符(URL)编码的普遍的误读,其后通过阐明HTTP场景下的URL encoding 来引出我们经常遇到的问题及其解决方案.本文并不特定于某类编程语言,我们在Java环境下阐释问题,最后从Web应用的多个层次描述如何解决URL编码的问题来结尾. 简介 当我们每天上网冲浪时,有一些技术我们无时无刻不…

在后台与前台数据交互时如果有特殊字符就很容易出现问题,所以就需要对字符串进行编码传输,在获取后再进行解码: 1.Java后台进行编码与解码 URLEncoder.encode(str,"utf-8");//编码 URLDecoder.decode(str,"utf-8");//解码 2.jsp页面进行编码解码 encodeURI(str);//编码 encodeURIComponent(str);//编码 decodeURI(str);//解码 decodeURIC…

(转自:http://blog.sina.com.cn/s/blog_498eab7d0100et7j.html) 根据查找的System.Text.Encoding类的属性,方法写了如下的转换程序: public string UTF8ToGB2312(string str) ...{ try ...{ Encoding utf8 = Encoding.GetEncoding(); Encoding gb2312 = Encoding.GetEncoding("gb2312");//…

function base64_encode (str) { // 编码,配合encodeURIComponent使用 var c1, c2, c3; var base64EncodeChars = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/="; var i = 0, len = str.length, strin = ''; while (i < len) { c1 = str.charC…

在django中,如果用到buffer类型时,buffer的编码格式是utf-8类型.使用str()进行转为字符串类型会异常. 异常会有如下提示:'ascii' codec can't decode byte 0xe5 这是由于python中str默认采用ascii编码导致的,需要通过以下代码手动将str编码转换为utf-8即可 import sys reload(sys) sys.setdefaultencoding('utf8')…

public string UTF8ToGB2312(string str)        {            try            {                    Encoding utf8 = Encoding.GetEncoding(65001);                Encoding gb2312 = Encoding.GetEncoding("gb2312");//Encoding.Default ,936                by…

目录 计算机基础 启动应用程序 写文本的流程 Python解释器执行文件的原理 Python解释器与文本编辑器的区别 字符编码 字符编码发生在哪三个阶段 字符编码发展史与分类 总结 Python2与Python3解释器编码的区别 Python2解释器(了解) Python3解释器 计算机基础 启动应用程序 双击qq 操作系统接受指令,然后把该操作转化为0和1发送给CPU CPU接受指令然后把指令发送给内存 内存接受指令把指令发送给硬盘获取数据 qq在内存中运行 写文本的流程 在记事本中按下键盘j…

计算机基础(掌握) 启动应用程序的流程 双击qq 操作系统接受指令然后把该操作转化为0和1发送给CPU CPU接受指令然后把指令发送给内存 内存接受指令把指令发送给硬盘获取数据 qq在内存中运行 文本编辑器存取文件的原理 在文本编辑器中按下键盘中j的时候 文本编辑器和操作系统交互,把这个按下j的指令转化为0和1 操作系统发送治指令给CPU CPU把这个0和1的指令 转化为 j 然后再由显示器显示 期间发生的过程,我们称之为字符编码 Python解释器的原理 启动python解释器,python解…