Pandas 文本数据

Pandas针对字符串配备的一套方法，使其易于对数组的每个元素(字符串)进行操作。

1.通过str访问，且自动排除丢失/ NA值

# 通过str访问，且自动排除丢失/ NA值

s = pd.Series(['A','b','C','bbhello','',np.nan,'hj'])
df = pd.DataFrame({'key1':list('abcdef'),
                  'key2':['hee','fv','w','hija','',np.nan]})
print(s)
print(df)
print('-----')

print(s.str.count('b'))   #对字符b进行计数
print(df['key2'].str.upper())    #upper全部变成大写
print('-----')
# 直接通过.str调用字符串方法
# 可以对Series、Dataframe使用
# 自动过滤NaN值

df.columns = df.columns.str.upper()   #把所有的列名变为大写的。
print(df)
# df.columns是一个Index对象，也可使用.str

输出结果：

0          A
1          b
2          C
3    bbhello
4        123
5        NaN
6         hj
dtype: object
  key1  key2
0    a   hee
1    b    fv
2    c     w
3    d  hija
4    e   123
5    f   NaN
-----
0    0.0
1    1.0
2    0.0
3    2.0
4    0.0
5    NaN
6    0.0
dtype: float64
0     HEE
1      FV
2       W
3    HIJA
4     123
5     NaN
Name: key2, dtype: object
-----
  KEY1  KEY2
0    a   hee
1    b    fv
2    c     w
3    d  hija
4    e   123
5    f   NaN

2.字符串常用方法（1） - lower，upper，len，startswith，endswith

s = pd.Series(['A','b','bbhello','',np.nan])

print(s.str.lower(),'→ lower小写\n')
print(s.str.upper(),'→ upper大写\n')
print(s.str.len(),'→ len字符长度\n')
print(s.str.startswith('b'),'→ 判断起始是否为b\n')
print(s.str.endswith(''),'→ 判断结束是否为3\n')

输出结果：

0          a
1          b
2    bbhello
3        123
4        NaN
dtype: object → lower小写

0          A
1          B
2    BBHELLO
3        123
4        NaN
dtype: object → upper大写

0    1.0
1    1.0
2    7.0
3    3.0
4    NaN
dtype: float64 → len字符长度

0    False
1     True
2     True
3    False
4      NaN
dtype: object → 判断起始是否为b

0    False
1    False
2    False
3     True
4      NaN
dtype: object → 判断结束是否为3

3.字符串常用方法（2） - strip

s = pd.Series([' jack', 'jill ', ' jesse ', 'frank'])
df = pd.DataFrame(np.random.randn(3, 2), columns=[' Column A ', ' Column B '],
                  index=range(3))
print(s)
print(df)
print('-----')

print(s.str.strip())  #去除前后的空格
print(s.str.lstrip())  # 去除字符串中的左空格
print(s.str.rstrip())  # 去除字符串中的右空格

df.columns = df.columns.str.strip()
print(df)
# 这里去掉了columns的前后空格，但没有去掉中间空格

输出结果：

0       jack
1      jill
2     jesse
3      frank
dtype: object
    Column A    Column B
0   -1.110964   -0.607590
1    2.043887    0.713886
2    0.840672   -0.854777
-----
0     jack
1     jill
2    jesse
3    frank
dtype: object
0      jack
1     jill
2    jesse
3     frank
dtype: object
0      jack
1      jill
2     jesse
3     frank
dtype: object
   Column A  Column B
0 -1.110964 -0.607590
1  2.043887  0.713886
2  0.840672 -0.854777

4.字符串常用方法（3） - replace

df = pd.DataFrame(np.random.randn(3, 2), columns=[' Column A ', ' Column B '],
                  index=range(3))
df.columns = df.columns.str.replace(' ','-')
print(df)
# 替换

df.columns = df.columns.str.replace('-','hehe',n=1)
print(df)
# n：替换个数

输出结果：

df = pd.DataFrame(np.random.randn(3, 2), columns=[' Column A ', ' Column B '],
                  index=range(3))
df.columns = df.columns.str.replace(' ','-')
print(df)
# 替换

df.columns = df.columns.str.replace('-','hehe',n=1)
print(df)
# n：替换个数

5.（1）字符串常用方法（4） - split、rsplit

s = pd.Series(['a,b,c','1,2,3',['a,,,c'],np.nan])
print(s,'\n')
print(s.str.split(','))
print('1-----','\n')
# 类似字符串的split

print(s.str.split(',')[0])
print('2-----','\n')
# 直接索引得到一个list

print(s.str.split(',').str[0])
print('3-----','\n')
print(s.str.split(',').str.get(1))
print('4-----','\n')
# 可以使用get或[]符号访问拆分列表中的元素

print(s.str.split(',', expand=True))
print('5-----','\n')
print(s.str.split(',', expand=True, n = 1))
print('6-----','\n')
print(s.str.rsplit(',', expand=True, n = 1))
print('7-----','\n')
# 可以使用expand可以轻松扩展此操作以返回DataFrame
# n参数限制分割数
# rsplit类似于split，反向工作，即从字符串的末尾到字符串的开头

df = pd.DataFrame({'key1':['a,b,c','1,2,3',[':,., ']],
                  'key2':['a-b-c','1-2-3',[':-.- ']]})
print(df,'\n8-----\n')
print(df['key2'].str.split('-'))
# Dataframe使用split

输出结果：

0      a,b,c
1      1,2,3
2    [a,,,c]
3        NaN
dtype: object 

0    [a, b, c]
1    [1, 2, 3]
2          NaN
3          NaN
dtype: object
1----- 

['a', 'b', 'c']
2----- 

0      a
1      1
2    NaN
3    NaN
dtype: object
3----- 

0      b
1      2
2    NaN
3    NaN
dtype: object
4----- 

     0     1     2
0    a     b     c
1    1     2     3
2  NaN  None  None
3  NaN  None  None
5----- 

     0     1
0    a   b,c
1    1   2,3
2  NaN  None
3  NaN  None
6----- 

     0     1
0  a,b     c
1  1,2     3
2  NaN  None
3  NaN  None
7----- 

      key1     key2
0    a,b,c    a-b-c
1    1,2,3    1-2-3
2  [:,., ]  [:-.- ]
8-----

0    [a, b, c]
1    [1, 2, 3]
2          NaN
Name: key2, dtype: object

5.（2）

df = pd.DataFrame({'key1':['a,b,c','1,2,3',[':,., ']],
                  'key2':['a-b-c','1-2-3',[':-.- ']]})
print(df,'\n8-----\n')
print(df['key2'].str.split('-'),'\n')
print(df['key2'].str.split('-',expand = True))
df['k201'] = df['key2'].str.split('-').str[0]
print('\n')
print(df['k201'])
df['k202'] = df['key2'].str.split('-').str[1]
df['k203'] = df['key2'].str.split('-').str[2]
df

输出结果：

   key1     key2
0    a,b,c    a-b-c
1    1,2,3    1-2-3
2  [:,., ]  [:-.- ]
8-----

0    [a, b, c]
1    [1, 2, 3]
2          NaN
Name: key2, dtype: object 

     0     1     2
0    a     b     c
1    1     2     3
2  NaN  None  None

0      a
1      1
2    NaN
Name: k201, dtype: object

6.（1）字符串索引

# 字符串索引

s = pd.Series(['A','b','C','bbhello','',np.nan,'hj'])
df = pd.DataFrame({'key1':list('abcdef'),
                  'key2':['hee','fv','w','hija','',np.nan]})

print(s,'\n')
print(s.str[0],'\n')  # 取第一个字符串
print(s.str[:2],'\n')  # 取前两个字符串
print(df,'\n')
print(df['key2'].str[0])
# str之后和字符串本身索引方式相同

输出结果：

0          A
1          b
2          C
3    bbhello
4        123
5        NaN
6         hj
dtype: object 

0      A
1      b
2      C
3      b
4      1
5    NaN
6      h
dtype: object 

0      A
1      b
2      C
3     bb
4     12
5    NaN
6     hj
dtype: object 

  key1  key2
0    a   hee
1    b    fv
2    c     w
3    d  hija
4    e   123
5    f   NaN 

0      h
1      f
2      w
3      h
4      1
5    NaN
Name: key2, dtype: object

6.（2）

df = pd.DataFrame({'key1':list('abcdef'),
                  'key2':['hee','fv','w','hija','',np.nan]})
df['new'] = df['key2'].str[0]
df

输出结果：

练习题：

作业1：如图创建一个Dataframe，并分别通过字符串常用方法得到3个Series或得到新的Dataframe：

① name字段首字母全部大写

② gender字段去除所有空格

③ score字段按照-拆分，分别是math，english，art三个学分

import numpy as np
import pandas as pd

df = pd.DataFrame({'gender':['M ',' M',' F ',' M ',' F'],
                    'Name':['jack','tom','marry','zack','heheda'],
                    'score':['90-90-90','89-89-89','90-90-90','78-78-78','60-60-60']})
print(df,'\n')
df['Name'] = df['Name'].str.capitalize() #首字母大写
print(df,'\n')
df['Name'] = df['Name'].str.upper()  #全部大写
print(df,'\n')

df['gender'] = df['gender'].str.strip()  #去掉所有空格
print(df,'\n')

df['Math'] = df['score'].str.split('-').str[0]
df['English'] = df['score'].str.split('-').str[1]
df['Art'] = df['score'].str.split('-').str[2]
print(df,'\n')
print(df['Math'].dtype)  #字符串类型
#改为整型
df['Math'] = df['Math'].astype(np.int)
print(df['Math'].dtype)  #整型

输出结果：

   Name gender     score
0    jack     M   90-90-90
1     tom      M  89-89-89
2   marry     F   90-90-90
3    zack     M   78-78-78
4  heheda      F  60-60-60 

     Name gender     score
0    Jack     M   90-90-90
1     Tom      M  89-89-89
2   Marry     F   90-90-90
3    Zack     M   78-78-78
4  Heheda      F  60-60-60 

     Name gender     score
0    JACK     M   90-90-90
1     TOM      M  89-89-89
2   MARRY     F   90-90-90
3    ZACK     M   78-78-78
4  HEHEDA      F  60-60-60 

     Name gender     score
0    JACK      M  90-90-90
1     TOM      M  89-89-89
2   MARRY      F  90-90-90
3    ZACK      M  78-78-78
4  HEHEDA      F  60-60-60 

     Name gender     score Math English Art
0    JACK      M  90-90-90   90      90  90
1     TOM      M  89-89-89   89      89  89
2   MARRY      F  90-90-90   90      90  90
3    ZACK      M  78-78-78   78      78  78
4  HEHEDA      F  60-60-60   60      60  60 

object
int32