[py]编码-强力理解版

py编码骨灰级总结

思路: python执行py文件步骤--py2/3定义变量时unicode差异

1,py2 py3执行py文件的步骤

2,py2 定义变量x='mao'

    1.x='mao', # 以文件头编码,因此出现内存中不一定全是unicode

    2,x=u'mao' # 等同于 x='mao'.decode('gbk'),从这里可以看出,站在unicode角度想问题

                                                             1,unicode在内存中

                                                             2,unicode内存存在硬盘,需encode,因此unicode可以encode到任意编码

3,py3 定义变量x='mao'

    默认就是x=u'maotai'

4,乱码问题

    1,存文件时候乱码

    2,读文件时乱码

5.python加载第一步时候乱码

    1,理解notepad++打开文件原理

    2,理解pycharm打开文件原理

    3,理解open()+r模式打开文件读取本质

    4,python解释器先读文件

        如果文件utf8编码

            py2默认以ascii加载

                可在py文件头指定

            py3默认以utf8加载

6,py文件头指定的编码会影响啥?

    1.影响py2加载py文件时

    2.影响py2自定义变量.

7,注意py2的,转unicode时候传的是自己.(下面有代码)

8, print函数会自动decode成终端的编码, 如果想看内存中数据,需要print 列表形式.

经典参考

参考

- py2中定义变量以文件头编码

#coding:gbk

x='上'

y='下'

print([x,y]) #['\xc9\xcf', '\xcf\xc2']

#\x代表16进制，此处是c9cf总共4位16进制数，一个16进制四4个比特位，4个16进制数则是16个比特位，即2个Bytes，这就证明了按照gbk编码中文用2Bytes

# 这里我可以把它decode成unicode编码

y='下'.decode('gbk') # 或

y=u'下'

print乱码:

    1,将unicode print即可,如果不是unicode则转为unicde后print, 终端编码

    2,以什么方式encode,就以什么方式decode.

    内容编码+文件打开编辑器编码要一致.

py3定义个变量:

x='maotai' # 以unicode存储

print(x)   # print函数自定以终端编码解码

编码及ascii

字符串要存储到硬盘里,必须先变成二进制,因为硬盘只能存二进制. 如何变, 需要做一步操作,即encode.

了解ascii编码

计算机由美国人发明，最早的字符编码为ASCII，只规定了英文字母数字和一些特殊字符与数字的对应关系。最多只能用 8 位来表示（一个字节），即：2**8 = 256，

所以，ASCII码最多只能表示 256 个符号

参考

一个有意思的乱码:

1.windows下记事本写中文,保存txt(编码)(默认gbk).

2,将txt放到linux下查看(解码)(默认utf-8),出现乱码

1.windows下notepad++写中文,保存txt(编码)(使用utf8).

2,将txt放到linux下查看(解码)(默认utf-8),不会出现乱码

而我在win下nodepad++存储

文件转移到linux下,则不会乱码.

字符串编码成二进制

计算机里除了字符串,还有图片视频&声音, 先搞清楚字符串编码

str --  encode --> bytes

str <-- decode <-- bytes

将字符串转换为二进制打印:

思路: 字符串变成二进制,需要编码,即encode  -- 字符串的encode有两种方法

                                                            1,bytes()

                                                            2,str.encode()

- 方法1: bytes()函数

name_b = bytes(name,encoding="utf-8")

print(type(name))   # <class 'str'>

print(type(name_b)) # <class 'bytes'>

- 方法2: 字符串.encode('utf-8')

In [8]: name.encode('utf-8')

Out[8]: b'maotai'

python的open函数

思路:

open的参数:

    f = open("test.txt",'rt',encoding="utf-8")

    1,open默认以rt模式打开(点开open可看源码有些)

        r 读

        t text模式(文本文件模式)(还有binary模式,如图生音乐.)

    2,编码

    open()如果无encoding参数,则使用系统编码,如过指定,则使用指定的

                        win: (cp936)gbk

                        linux: utf-8

    3,open打开和notepad打开文件本质相同

        都是从硬盘--->展现(decode二进制过程)

    4,f.write以gb2312的编码写到文件里

        f = open("test.txt", 'r+', encoding='gb2312')

        f.write("maotai")

      encoding参数真正含义: 以...解码读, 以...编码存.

open方法mode带b时,不能指定encoding参数,否则报错

rb模式读二进制,并且打印,打印时需要decode

wb模式写二进制,写的时候需将字符串转为二进制后写

                                 1,bytes()函数

                                 2,str.encode('')

f = open("test.txt",'rb')

print(f.read().decode("utf-8"))

f = open("test.txt",'wb')

f.write(bytes('test2\n',encoding="utf-8"))

f.write('test3\n'.encode("utf-8"))

f = open("test.txt",'ab') #在文件末尾追加内容(不换行)

f.encoding: 取的是文件打开的编码, 而非文件存在硬盘的编码.

    1,优先读取open函数指定的编码

    2,如无指定,使用系统编码

f = open("test.txt")

print(f.encoding) # cp936(code page936页),即gbk

f = open("test.txt",encoding='utf-8')

print(f.encoding) # utf-8

先搞清楚notepad++读文件原理:(以utf8解码后展示)

open()+r模式本质上和notepad++读文件原理一样.

思路: 以open指定的编码解码读取出来.

open()+w模式: 乱码问题:

思路: open用gbk写, pycharm以utf8方式读,则显示乱码

思路: open以utf8编码写, open以gbk读,则显示乱码

图片/视频&声音: 硬盘--屏幕展示

计算机的0和1是怎么变成我们屏幕上看到的图片、视频和声音的？

图片: 像素,如果是黑白图片

    2bit: 4种颜色

    位数越多,能展示的颜色越丰富

视频: 一张张的图片组成,原理和图片一样

声音: 采样--量化,然后模拟各种高低电平

python中字符编码处理

ascii适用于英语国家---中国/日本文字众多,发明自己的编码(存盘)---为统一,发明unicode编码---为优化空间发明utf-8

- unicode编码存在的意义:

1,解决历史编码不统一问题

    1,内存中编码都统一成了unicode,硬盘上还是你们自己国家的

    2,如果已解决这个问题,内存和硬盘上都用utf-8也是ok的.

编码|占用空间(字节)

ascii|1

unicode|英汉:2

utf-8|英1,汉3

注: python一般硬盘中使用utf8,内存中的编码固定使用unicode

python执行代码步骤

1,解释器打开py文件

    以什么编码打开?

        如果py文件不指定:

            py2: ascii解码加载到内存

            py3: utf-8解码加载到内存

        如果py文件头指定,以指定的头解码加载到内存

            #coding=utf8

代码加载到内存统一转换unicode编码存储,这里可以将unicode理解为二进制01010.

2,执行代码

py2执行

    定义字符串

        1,字符串先看头部,以头部编码存

        2,如果指定了u,以unicode编码存储

            x = u'毛台'

py3执行:

    定义字符串

        1,默认以u,unicode方式编码存储

        2,encode成gbk

            类型是byte

思路: 写个py文件,py2执行报asscii无法解码加载, py3报语法错误. 说明py2第一关加载都没过, py3过了第一关,(因为py3默认以utf8加载,恰好linux默认文件编码utf8),py3第二步扫描语法错误时候报错.

思路: 写py,指定编码为utf8.py2 py3都语法错误. 说明py2 3都已经过了加载第一关, 到了第二关扫描语法错误.