pandas数据类型（二）与numpy的str和object类型之间的区别

现象：

Numpy区分了str和object类型，其中dtype(‘S’)和dtype(‘O’)分别对应于str和object.

然而,pandas缺乏这种区别 str和object类型都对应dtype(‘O’)类型，即使强制类型为dtype(‘S’)也无济于事

>>> import pandas as pd
>>> import numpy as np
>>>
>>>
>>> np.dtype(str)
dtype('S')
>>> np.dtype(object)
>>>
>>>
dtype('O')
>>> df = pd.DataFrame({'a': np.arange(5)})
>>> df
   a
0  0
1  1
2  2
3  3
4  4
>>> df.a.dtype
dtype('int64')
>>> df.a.astype(str).dtype
dtype('O')
>>> df.a.astype(object).dtype
dtype('O')
>>> df.a.astype(str).dtype
dtype('O')

原理：

先说结论：

Numpy的字符串dtypes不是python字符串.pandas使用python字符串,.

numpy与pandas的字符串不同的含义：

>>> x = np.array(['Testing', 'a', 'string'], dtype='|S7')
>>> x
array([b'Testing', b'a', b'string'], dtype='|S7')
>>>
>>>
>>> y = np.array(['Testing', 'a', 'string'], dtype=object)
>>> y
array(['Testing', 'a', 'string'], dtype=object)

现在,一个是numpy字符串dtype(固定宽度,类似c的字符串),另一个原生python字符串数组.

如果我们试图超过7个字符,我们会看到立即的差异.numpy字符串dtype版本将被截断，而numpy对象dtype版本可以是任意长度

>>> x[1] = 'a really really really long'
>>> x
array([b'Testing', b'a reall', b'string'], dtype='|S7')
>>>
>>> y[1] = 'a really really really long'
>>> y
array(['Testing', 'a really really really long', 'string'], dtype=object)

尽管存在unicode固定长度字符串dtype,但| s dtype字符串不能正确地保持unicode

最后,numpy的字符串实际上是可变的,而Python字符串则不是.

>>> z = x.view(np.uint8)
>>> z
array([ 84, 101, 115, 116, 105, 110, 103,  97,  32, 114, 101,  97, 108,
       108, 115, 116, 114, 105, 110, 103,   0], dtype=uint8)
>>> z+=1
>>> x
array([b'Uftujoh', b'b!sfbmm', b'tusjoh\x01'], dtype='|S7')

由于所有这些原因,pandas选择不允许类似C的固定长度字符串作为数据类型.

正如所注意到的那样,尝试将python字符串强制转换为固定的numpy字符串将无法在pandas中使用.相反,它总是使用本机python字符串,对大多数用户来说,它的行为更直观.

那为什么np.view可以验证

NumPy文档里对ndarray.view方法的说明:

• ndarray.view(dtype=None, type=None)

• New view of array with the same data。

• 返回数据的新视图。

除了view()方法，还有我们熟悉的reshape()方法也可以返回一个视图，至于其他方法也可以返回视图

import numpy as np
a = np.arange(10)

b = a.reshape(5,2)

c = a.view()
c.shape = (2,5)

a_base = a.base
b_base = b.base
c_base = c.base
a_base, b_base, c_base
(None,
 array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]),
 array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]))

对程序的说明，

• 首先创建一个具有10个数据的1维数组a，shape为(10, )。

• b是reshape方法返回的a的一个视图(view)，此时b是一个2维数组，它的shape为(5,2)。

• c是view方法返回的a的一个视图，此时c的shape为(10, )，当执行c.shape = (2, 5)后c的shape变为(2, 5)。

• b_base和c_base说明b和c只是a的一个视图，共享a的数据，虽然它们的shape各不相同。

接着我们来看看各个数组的base，

>>>a.base is None
True
>>>b.base is a
True
>>>c.base is a
True

如果一个数组的base是None，说明这个数组的数据是自己的，它是这个数据的所有者；如果不是None，则说明数据在不是自己的，他只能通过数据拥有者才能访问。

如果两个数组的base相同，说明它们指向同一个数据拥有者。

ndarray.base

• NumPy文档说明: Base object if memory is from some other object.

• base对象说明数据是否来自别的对象。

• 上面这个例子，a.base是None，说明a自己拥有数据，不是来自别人的，而b和c的base都是a，说明它们都没有自己的数据，都是a的。

下面代码的运行结果表明，这三个数组中只有a是数据的所有者，而b和c都不是。

a.flags.owndata, b.flags.owndata, c.flags.owndata
结果：(True, False, False)

验证：

b[1,1] = 88

把原来的3改成了88。结果我们看下图，三个数组里的3同时被改成88。