《python解释器源码剖析》第3章--python中的str对象

3.0 序

我们知道python中的字符串属于变长对象，当然和int也是一样，底层的结构体实例所维护的数据的长度，在对象没有定义的时候是不知道的。当然如果是python2的话，底层PyIntObject维护的就是一个long，显然在没创建的时候就知道是1。

可变对象维护的数据的长度只能在对象创建的时候才能确定，举个例子，我们只能在创建一个字符串或者列表时，才知道它们所维护的数据的长度，在此之前，我们对此是一无所知的。

注意我们在前面提到过可变对象和不可变对象的区别，在变长对象中，实际上也可以分为可变对象和不可变对象。list和str实例化之后都是变长对象，但是list实例所维护数据是可以动态变化的，但是str实例就不支持添加、删除等操作了。下面我们来研究一下python变长对象中的不可变对象。

3.1 PyUnicodeObject和PyObject_Type

在Python中，PyUnicodeObject是对字符串对象的实现。PyUnicodeObject是一个拥有可变长度内存的对象，这一点很好理解。因为对于表示"hi"和"satori"的两个不同的PyUnicodeObject对象，其内部所需要保存字符串(或者说n个char)的内存空间显然是不一样的。与此同时，PyUnicodeObject又是一个不可变对象，一旦创建之后，内部维护的数据就不可以再修改了。这一特性使得PyUnicodeObject对象可以作为dict的key；但与此同时，当进行多个字符串连接等操作时，也会使效率大大降低。

我们看看PyUnicodeObject的定义：

typedef struct {
    PyCompactUnicodeObject _base;
    union {
        void *any;
        Py_UCS1 *latin1;
        Py_UCS2 *ucs2;
        Py_UCS4 *ucs4;
    } data;                     /* Canonical, smallest-form Unicode buffer */
} PyUnicodeObject;

typedef struct {
    PyASCIIObject _base;
    Py_ssize_t utf8_length;     /* Number of bytes in utf8, excluding the
                                 * terminating \0. */
    char *utf8;                 /* UTF-8 representation (null-terminated) */
    Py_ssize_t wstr_length;     /* Number of code points in wstr, possible
                                 * surrogates count as two code points. */
} PyCompactUnicodeObject;

typedef struct {
    PyObject_HEAD
    Py_ssize_t length;          /* Number of code points in the string */
    Py_hash_t hash;             /* Hash value; -1 if not set */
    struct {
        unsigned int compact:1;
        unsigned int ascii:1;
        unsigned int ready:1;
        unsigned int :24;
    } state;
    wchar_t *wstr;              /* wchar_t representation (null-terminated) */
} PyASCIIObject;

可以看到PyUnicodeObject实现起来很复杂，这是因为在python中，默认都是Unicode。直接分析起来很费劲，我们可以阅读一篇文章，来看看python在存储字符串的时候是如何节省内存的，从而进一步认识PyUnicodeObject。链接如下：https://rushter.com/blog/python-strings-and-memory/，这里我给翻译一下。

python在存储字符串的时候如何节省内存

从python3开始，str类型使用的是Unicode。而根据编码的不同，Unicode的每个字符最大可以占到4字节，从内存的角度来说， 这种编码有时会比较昂贵

为了减少内存消耗并且提高性能，python的内部使用了三种方式表示Unicode

• 每个字符一字节(Latin-1 编码)
• 每个字符二字节(UCS-2 编码)
• 每个字符四字节(UCS-4 编码)

在python编程中，所有字符串行为都是一致的，而且大多数时间我们都没有注意到差异。然而在处理大文本的时候，这种差异就会变得异常显著、甚至有些让人出乎意料

为了看到内部表示的差异，我们使用sys.getsizeof函数，返回一个对象所占的字节数

# -*- coding:utf-8 -*-
# @Author: WanMingZhu
# @Date: 2019/10/25 14:01
import sys
string = "hello"
print(sys.getsizeof(string))  # 54

# 1 bytes
print(sys.getsizeof(string + "!") - sys.getsizeof(string))  # 1

string2 = "你"
# 2 bytes
print(sys.getsizeof(string2 + "好") - sys.getsizeof(string2))  # 2
print(sys.getsizeof(string2))  # 76

string3 = "