一种编码想要转成另一种编码,需要先解码成万国码:Unicode,然后再从Unicode转成其他编码. 例如GBK格式想要转成utf-8,需要先按照 gbk 的格式 decode 成 unicode,再从 unicode 格式 encode 成utf-8 # python3默认使用utf-8编码,故不用声明:#-*- coding:utf-8 -*- import sys # 查看当前默认编码 print(sys.getdefaultencoding()) name = '你好' # utf-8格…

在py3中只有两种数据类型:str  bytes str:  存unicode(万国码)编码--全球通用的 bytes:存的是16进制的 1.str s='ehllo 丽庆'  --->它存在内存中存都是unicode的编码 2.bytes(010101010计算机认识的) 存在磁盘,网络传输等都是bytes类型---因为bytes类型离底层更近---计算机能认识它. 3.由str---->>转bytes类型就叫编码 怎么转? --------bytes()方法 s='ehllo 丽庆'…

1.查看自己电脑的python的编码设置 # -*- coding: utf8 -*- import sys, locale """ locale.getpreferredencoding() 重要参数,默认为打开本地操作系统读取的文本文件的编码方式,因操作系统而异,除非指定 sys.stdout/stdin/stderr 标准输出/输入/错误输出 PYTHONIOENCODING 变量指定 sys.getdefaultencoding() python将binary dat…

# -*- coding: utf-8 -*- # 直接保存为Python脚本,对照执行结果会好看点. # 实验的内容都是在Python 2.7.x下进行的. # Python3默认采用unicode来处理内部编码问题,所以不适用本内容. ######################### # Python中的字符类型 # ######################### # Python中的字符类型分两种: # 1. str类型:ascii表中的字符,占一个字节,所以也叫字节字符.字面量用双…

程序是事件驱动的,写博客是什么驱动的?事件? 时间?no,我承认我很懒,甚至不愿意记录总结.哪是什么驱动的? 对! 问题驱动的.遇到了问题解决了问题突然想起来搬到blog上,让遇到相同问题的可以参考下. 问题所在 我用的Electronic WeChat,当朋友发送文字.图片.甚至视频的时候都可以打开(Audio无法收听,因为电脑无外设音响/喇叭).但发来的语音就扯蛋了,只能通过手机听,甚至不能转发. 但是发现可以通过开发者工具看到http语音文件的请求地址. 直接复制url在浏览器中打开没有任…

1.小数据池 代码块:  一个模块, 一个函数, 一个类, 甚至每一个command命令都是一个代码块. 一个文件也是一个代码块.而不需要创建一个新的数据. 这样会节省更多的内存区域. 在cmd命令行执行python时,每一条代码就是一个代码块;    在pycharm中执行文件时,每一个.py文件就是一个代码块. is:  判断的是两者的内存地址是否一致.   print(id(变量))  ----> 查内存地址 ==:  判断两者值是否一致. 小数据池:  一种缓存机制, 可以快速地创建字符…

内容概要: 一.文件操作 二.字符编码解码 三.函数介绍 一.文件操作 文件操作流程: 打开文件,得到文件句柄并赋值给一个变量 通过句柄对文件进行操作 关闭文件 基本操作: #/usr/bin/env python # -*- coding:utf-8 -*- #Author:W-D f=open("test","r",encoding="utf-8")#打开文件,并告诉解释器以那种编码打开,编码不对会报错 data=f.read()#操作文件…

之前一直对python文件中编码解码糊里糊涂,今天看到一篇文章,觉得把我讲的有点明白了.写个心得吧. 1.编码解码是怎么一回事? Python 里面的编码和解码也就是 unicode 和 str 这两种形式的相互转化. 编码是 unicode -> str,相反的,解码就是 str -> unicode. str形式,也就是字符串形式都是以一定的编码格式存在的,常见的编码格式有utf-8.ASCII.gb2312等等. str1.decode('gb2312'),表示将gb2312编码的字符串…

编码方法encoding() 描述 encode() 方法以指定的编码格式编码字符串,默认编码为 'utf-8'.将字符串由string类型变成bytes类型. 对应的解码方法:bytes decode()  方法. 语法 str.encode([encoding='utf-8'][,errors='strict']) str是表示需要编码的字符串,并且是个string类型. encoding -- 可选参数,要使用的编码方案,默认编码为 'utf-8'. errors -- 可选参数,设置不同…

项目地址:https://git.io/pytips 0x07 和 0x08 分别介绍了 Python 中的字符串类型(str)和字节类型(byte),以及 Python 编码中最常见也是最顽固的两个错误: UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128) UnicodeDecodeError: 'utf-8' codec can't decod…

1 urllib urllib是一个标准模块,直接import就可以使用 1.1get请求 from urllib.request import urlopen url='http://www.nnzhp.cn/archives/423' res=urlopen(url).read() #发送get请求,返回响应的类型是bytes f = open('a.html','w',encoding='utf-8') f.write(res.decode()) #将bytesde类型的res decod…

一.URL编码解码 url的编码解码需要用到标准模块urllib中的parse方法 from urllib import parse url = 'http://www.baidu.com?query=python基础教程 $%^&' url_str = parse.quote_plus(url) # url编码 baidu_url = 'http%3A%2F%2Fwww.baidu.com%3Fquery%3Dpython%E5%9F%BA%E7%A1%80%E6%95%99%E7%A8%8B…

最近业务中需要用 Python 写一些脚本.尽管脚本的交互只是命令行 + 日志输出,但是为了让界面友好些,我还是决定用中文输出日志信息. 很快,我就遇到了异常: UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128) 为了解决问题,我花时间去研究了一下 Python 的字符编码处理.网上也有不少文章讲 Python 的字符编码,但是我看过一遍,觉得自己…

先说说什么是编码. 编码(encoding)就是把一个字符映射到计算机底层使用的二进制码.编码方案(encoding scheme)规定了字符串是如何编码的. python编码,其实就是对python字符串的编解码问题,这也是为什么在python中,只有字符串,才有decode和encode方法.在python中,字符串为str类型,其父类为basestring.unicode和ascii是str类型的两种常见编码,ascii是字符串的默认编码,如 str(12).ascii编码的字符串,7bi…

Python文件头部模板 先说个小知识点:如何在创建文件的时候自动添加文件的头部信息! 通过:file--settings 每次都通过file--setings打开设置页面太麻烦了!可以通过:View--选中Toolbar工具条…

摘要: 为了在源代码中支持非ASCII字符,必须在源文件的第一行或者第二行显示地指定编码格式: # coding=utf-8 或者是: #!/usr/bin/python # -*- coding: utf-8 -*- 在python中和字符串相关的数据类型,分别是str.unicode两种,他们都是basestring的子类,可见str与unicode是两种不同类型的字符串对象. basestring / \ / \ str unicode 不论是Python3x.Java还是其他编程语言,U…

将一个py脚本从Centos转到win运行,出错如下: UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence 虽然明白是编码的问题,网络上decode()什么的,貌似不适用python3.后来发现使用字节方式打开可以.出错函数如下:gridfs.GridFS.put()函数.其中调用了读写操作 If you want raw bytes then you n…

一,netty+protocol buffers简要说明 Netty是业界最流行的NIO框架之一优点:1)API使用简单,开发门槛低:2)功能强大,预置了多种编解码功能,支持多种主流协议:3)定制能力强,可以通过ChannelHandler对通信框架进行灵活的扩展:4)性能高,通过与其它业界主流的NIO框架对比,Netty的综合性能最优:5)成熟.稳定,Netty修复了已经发现的所有JDK NIO BUG,业务开发人员不需要再为NIO的BUG而烦恼:6)社区活跃,版本迭代周期短,发现的BUG可以…

转载自:https://foofish.net/python-unicode-error.html 不论你是有着多年经验的 Python 老司机还是刚入门 Python 不久的新贵,你一定遇到过UnicodeEncodeError.UnicodeDecodeError 错误,每当遇到错误我们就拿着 encode.decode 函数翻来覆去的转换,有时试着试着问题就解决了,有时候怎么试都没辙,只有借用 Google 大神帮忙,但似乎很少去关心问题的本质是什么,下次遇到类似的问题重蹈覆辙,那么你有没…

今天主要了解了python的数据类型,sys,os模块,编码解码,列表,字典 1.数据类型:int(python3没有长整型)文本总是Unicode,str表示二进制用byte类表示布尔型:True(1) False(0)浮点型:小数2.sys.path os.mkdir os.system.dir #返回0,屏幕输出 os.popen.dir 返回数据,可以赋值变量输出3.编码encode:str转成2进制 str.encode("编码类型") 解码decode: 二进制(byte)…

Py3编码解码   写的不好请谅解,有问题欢迎指出.   python2.x中的解决方案(图片来源于网络) #!/usr/bin/env python # -*- coding: utf-8 -*- # @Author : "Wjl" # @Date : 2017/11/24 # @Time : 15:06 # @SoftWare : PyCharm # @File : 编码解码.py """ Python2.x 中默认编码是Ascii,所以想写中文必须在…

原文地址:http://www.cnblogs.com/alex3714/articles/7550940.html 编码回顾 在备编码相关的课件时,在知乎上看到一段关于Python编码的回答 这哥们的这段话说的太对了,搞Python不把编码彻底搞明白,总有一天它会猝不及防坑你一把. 不过感觉这哥们的答案并没把编码问题写明白,所以只好亲自动笔了. 折腾编码问题,有很多次,我以为自已明白了,最终发现,那只不过是自圆其说而已,这一次,终于100%确定,动笔即不再改! 看这篇文章前,你应该已经知道了为…

>>> ord('中') 20013 >>> chr(65) 'A' >>> chr(20013) '中' - Python文件默认是UTF-8编码,如果需要特殊需要,需要声明 - 放在第一项,或者第二行 - '''# -*- coding: windows-1252 -*-''' - 读写文件默认UTF-8,可以指定 - code point 方式比较字符串, 可能会带来问题 - 重音符号的表示 - 使用 unicodedata.normalize…

在编写python程序的过程中,中英文混用经常会出现编码问题.围绕此问题,本文首先介绍编码的含义及常用编码,随后列举几个python经常遇到的编码异常及解决方法,接着列举笔者在实践中遇到的异常出现的情景及原因,最后针对编码问题提出最佳实践. 一 常见编码 1.1 unicode编码 在文本文件中,看到的所有字符,包括中文,都需要在计算机中存储,而计算机只能存储0和1这样的二进制位,所以需要一种方法,将字符映射成数字,然后将数字转化为二进制位存储在计算机中.针对字符和数字的映射的问题,产生了uni…

系统编码,可以通过locale命令查看(LINUX)https://wiki.archlinux.org/index.php/Locale_(简体中文), centos7 配置文件在/etc/profile.d/lang.sh 文件编码,它代表源码文件内的所有内容都是根据词方式编码成二进制码流,存入到磁盘中的. python编码,是指python内设置的解码方式.如果不设定的话,python2默认是ascii解码.在源码文件开头(一定是第一行):#-*-coding:UTF-8-*-,源码文件的…

原文链接: ERIC MORITZ   翻译: 伯乐在线- 贱圣OMG译文链接: http://blog.jobbole.com/50345/ 我确定有很多关于Unicode和Python的说明,但为了方便自己的理解使用,我还是打算再写一些关于它们的东西. 字节流 vs Unicode对象 我们先来用Python定义一个字符串.当你使用string类型时,实际上会储存一个字节串. 1 2 [  a ][  b ][  c ] = "abc" [ 97 ][ 98 ][ 99 ] = &…

关于python 字符串编码一直没有搞清楚,今天总结了一下. Python 字符串类型 Python有两种字符串类型:str 与 unicode. 字符串实例 # -*- coding: utf-8 -*- # 这个是 str 的字符串 s = '关关雎鸠' # 这个是 unicode 的字符串 u = u'关关雎鸠' print isinstance(s, str) # True print isinstance(u, unicode) # True print s.__class__ # <…

最近利用python抓取一些网上的数据,遇到了编码的问题.非常头痛,总结一下用到的解决方案. linux中vim下查看文件编码的命令 set fileencoding python中一个强力的编码检测包 chardet ,使用方法非常简单.linux下利用pip install chardet实现简单安装 import chardet f = open('file','r') fencoding=chardet.detect(f.read()) print fencoding fencoding…

Python编码问题小记: 引子: 最近在复习redis,当我在获取redis的key的时候,redis 存储英文和汉字下面这个样子的,我知道汉字是用16进制的UTF-8编码了,然后突然很想搞清楚字符编码的知识,以及在Python中编码的转换,记下了这个随笔. 127.0.0.1:6379> get n5 "\xe5\xa7\x9a\xe6\xbb\xa8" 127.0.0.1:6379> get n1 "abc" 为什么要指定编码类型? 计算机本身只能…

爬虫,新手很容易遇到编码解码方面的问题.在这里总结下. 如果处理不好编码解码的问题,爬虫轻则显示乱码,重则报错UnicodeDecodeError: 'xxxxxx' codec can't decode byte 0xc6 in position 1034: invalid continuation byte,这个xxx可能是 ascii utf8  gbk等. 大家一定要选个专门的时间学习下这方面,网上资源很多的.因为编码 解码岁不关程序逻辑功能大局 ,但几乎每个程序中都会遇到这个东西,所以…