今天写了几个脚本,都遇到了中英文混编的情况.需求要将其中的中文标点符号切换为英文符号. 举个例子: tags = '你好,good, 国语' 要将其中的中文半角逗号替换为英文逗号,为了方便后续的处理 如下处理: tags = tags.replace(',', ',') 会抛出如下异常: UnicodeDecodeError: 'ascii' codec can't decode byte ... python中字串分成两种,byte string 和unicode string 一般来说,设定

python在安装时,默认的编码是ascii,当程序中出现非ascii编码时,python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128),python没办法处理非ascii编码的,此时需要自己设置将python的默认编码,一般设置为utf8的编码格式. 查询系统默认编码可以在解释器中输入以下命令:python代码 >>>

python 2.7编码问题,着实令人头疼不已,这两天抽闲想真正弄明白.需要弄清楚这个问题,首先需要明白ASCII,Unicode 和 UTF-8之间的关系. 进行对上述几种概念进行描述之前,先进行简单的总结: 1.第一个阶段,计算机出现初期,计算机中用8位表示一个字节,共256种状态,用来表示英文.标点.以及其他的一些特殊符号(控制码)等,已经足够了,这种方式被大家成为是ANSI的ASCII编码 2.随着计算机慢慢渗透到其他国家,127种状态已经不能满足需求,比如中文常用的字符上万种,中国人民

中文乱码 上篇<ZBar-windows下编译和使用>已经成功解析了条形码,但目标是二维码,经测试二维码中文会出现乱码.下图二维码的内容是"http123测试456",解析后的内容为"http123娴嬭瘯456" 搜索了一下关键词,解决方案如下http://blog.csdn.net/zizi7/article/details/51880129 修改文件 zbar/qrcode/qrdectxt.c: latin1_cd=iconv_open("

一.Python环境 windows环境安装Python步骤 .下载安装包:https://www.python.org/downloads/windows/  .安装:默认安装路径:C:\python27 .配置环境变量 二.Python初识 2.1  第一个Python程序编写(pycharm python) print ("hello,python!!!")# Python2输出中文问题 首行添加 # -*- encoding:utf-8 -*-# python3不存在输出中文问

主要内容:     1.Unicode 和 UTF-8的爱恨纠葛     2.字符在硬盘上的存储     3.编码的转换     4.验证编码是否转换正确     5.Python bytes类型 前言: 学习Python,字符编码间的转换是绕不过去的一只拦路虎,不把编码彻底搞明白,总有一天它会猝不及防坑你一把. Python2.x和Python3.x在字符编码的设置上也有很大区别(Python3未来将是主流,所以Python3为主),今天我们就来一起学习下. 上一篇文章里我已经简述了Pytho

"""内置函数的简单使用和介绍参考链接:https://docs.python.org/3/library/functions.html """1.abs() # 绝对值""" n = abs(-10) print (n) # 10 """2.all() # 全为真,输出Ture , 则输出Flaseany() # 只要有真,输出Ture,则输出Flase 0,None,"&q

  1.3 python2与python3的一些区别 大环境下的区别:python2:1,源码都含有php,Java,C,等语言的规范陋习,2,重复代码特别多. python3:源码很规范,清晰,简单,符合python的宗旨. 版本区别 python3:英文,中文没有问题. 默认编码:utf-8python3中输入用 input  python2:英文没问题,中文报错? 默认编码:ascii为了显示中文,解决办法:  首行:  # -*- encoding:utf-8 -*- python3.5

1.注释 在python中,注释是以任何存在于#右侧的文字,其主要作用是写给程序读者看的笔记. 例如 单行注释 >>print("hello world") #这是一个注释 多行注释使用一对''' ''' 这是注释 这是注释 这是注释 ''' 2.Python2的中文编码问题 python2中默认的编码不支持中文,如果要在python2中支持中文,需要在.py文件的开头声明使用的编码. 在py文件的开头添加下面语句: #coding=utf-8 也可以有另外一种声明格式:

# 一行注释"""多行注释"""print("hello world\n" * 3)name = "sure" # 变量值:"sure",会在内存中产生一份内存地址print(name) # 变量名:相当于一个门牌号,用于与变量进行绑定# =:用来把变量值绑定给变量 print("hello world\n" * 3) name = "sure"

声明: 博文参考1:字符编码发展历程(ASCII,Unicode,UTF-8) 博文参考2:Python常见字符编码间的转换 (1)为什么要用字符编码 早期的计算机使用的是通电与否的特性的真空管,如果通电就是1,没有通电就是0,后来沿用至今我们称这种只有0/1的环境为 二进制制,英文称为binary.但是二进制数据(0/1)怎么能表示我们所熟知的英文,数字,字符,汉字呢?所以就有了各种编码,因 为开始计算机只在美国用.八位的字节一共可以组合出256(2的8次方)种不同的状态.(可以涵盖美国人使用

为了和艺恩网的数据作比较,让结果更精确,在昨天又写了一个时光网信息的爬取,这次的难度比艺恩网的大不少,话不多说,先放代码 # -*- coding:utf-8 -*-from __future__ import print_functionimport urllib2import reprint(u"电影;首日票房;首周票房;时光评分;评分人数;总票房")pre_url="http://movie.mtime.com/boxoffice/?area=china&typ

上一篇文章介绍和分析了python2.7中使用print遇到的中文编码问题的原因和解决方案,本篇主要介绍一下python2.7中执行文件读写可能遇到的编码问题. 1.文件读取 假如我们读取一个文件,文件保存时,使用的编码格式,决定了我们从文件读取的内容的编码格式,例如,新建一个文本文件test.txt, 编辑内容,保存的时候注意,编码格式设定为gb2312,那么使用python读取文件内容,方式如下: f = open('test.txt','r') s = f.read() #读取文件内容,如

摘要:Python中文虐我千百遍,我待Python如初恋.本文主要介绍在Python2/3交互模式下,通过对中文.英文的处理输出,理解Python的字符编码与解码问题(以点破面). 前言:字符串的编码一开始是 ascii,只支持英文,由于多种语言的存在,出现万国码 unicode,但 unicode 不兼容 ascii,而且对存储空间造成浪费,所以出现 utf-8 编码,一种针对 unicode 的可变长度字符编码. Python3的字符编码与解码输出 >>> hi = b'hello,

python2.x版本的字符编码有时让人很头疼,遇到问题,网上方法可以解决错误,但对原理还是一知半解,本文主要介绍 python 中字符串处理的原理,附带解决 json 文件输出时,显示中文而非 unicode 问题.首先简要介绍字符串编码的历史,其次,讲解 python 对于字符串的处理,及编码的检测与转换,最后,介绍 python 爬虫采取的 json 数据存入文件时中文输出的问题. 参考书籍:Python网络爬虫从入门到实践 by唐松 在python 2或者3 ,字符串编码只有两类 : (

python2 print不换行 在print最后加上一个逗号,会把两个输出打印在同一行,不过两个输出之间有一个空格的间隔,例如:print '{0}'.format(123),print '{0}'.format(456)输出: 123 456如果没有逗号:print '{0}'.format(123)print '{0}'.format(456)输出: 123456 python3 print不换行 python3中print函数中的参数end默认值为'\n',表示换行,给end赋值为空,就

python2 def div1(x,y): print "%s/%s = %s" % (x, y, x/y) def div2(x,y): print "%s//%s = %s" % (x, y, x//y) div1(,) div1(.,) div2(,) div2(.,.) div2(.,) div2(,.) 另外,在Python3中上面的代码的输出有何不同(假设代码中的print语句都转化成了Python3中的语法结构) 在Python2中,代码的输出是:

python语句支持输出重定向到文件里,与shell类似使用“>>”来重定向输出. python2: logfile = open('mylog.txt', 'a') print >> logfile, 'Fatal error: invalid input' logfile.close() #mylog.txt Fatal error: invalid input python3: f = open('mylog.txt', 'a') print('Fatal error: in

hadoop的hdfs文件系统中,默认的是utf-8, 故你上传的文件是要设置成utf-8.当输入的是gbk,有该如何? 输入是GBK文件, 输出也是 GBK 文件的示例代码: Hadoop处理GBK文本时,发现输出出现了乱码,原来HADOOP在涉及编码时都是写死的UTF-8,如果文件编码格式是其它类型(如GBK),则会出现乱码. 此时只需在mapper或reducer程序中读取Text时,使用transformTextToUTF8(text, "GBK");进行一下转码,以确保都是以

最近业务中需要用 Python 写一些脚本.尽管脚本的交互只是命令行 + 日志输出,但是为了让界面友好些,我还是决定用中文输出日志信息. 很快,我就遇到了异常: UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128) 为了解决问题,我花时间去研究了一下 Python 的字符编码处理.网上也有不少文章讲 Python 的字符编码,但是我看过一遍,觉得自己