pandas:数据迭代、函数应用

1、数据迭代

1.1 迭代行

(1)df.iterrows()

  for index, row in df[0:5].iterrows():  #需要两个变量承接数据
      print(row)
      print("\n")

  for index, row in df[0:5].iterrows():
      print(row.team)  #通过对象属性方式
      print(row['name']) #通过字典方式读取具体列
      print("\n")

（2）df.iertuples()

  #生成一个nametuples类型的数据，默认name为Pandas（可在参数中指定）

  for row in df[0:5].itertuples():
      print(row,"\n")

  for row in df[0:5].itertuples():
      print(row.name,"\n") #可以通过元素属性的方式取出具体值

1.2 迭代列

(1)df.iteritems()、df.items()

  # df.items(),df.iteritems() 迭代时返回（列名，本列的series结构数据）

  for label, item in df[0:5].items():  #label是列名
      print(label,item)
      print("\n")

  for label, item in df[0:5].items():
      print(item) #item的数据结构是series（有行索引，和数据）
      print("\n")

  for label, colunm in df[0:5].items():
      print(colunm.sort_values()) #数据结构是series（有行索引，和数据）因此可以使用series的方法
      print("\n")

(2)对dataframe直接进行迭代

  for item in df:
      print(item) #item会得到df的列名
      print("\n")

  for item in df:
      print(df[item]) #item会得到df的列名,通过df[item]又可以得到每个列的值
      print("\n")

2、函数应用

2.1 pipe()

  #将复杂的调用简化，语法结构为df.pipe(<函数名>,<参数列表或字典>)
  #ta将dataframe或series作为函数的第一个参数

  #定义一个函数，给所有季度的成绩加n，然后增加一个平均数

  def add_mean(df,n):
      n_df = df.copy()
      n_df = n_df.loc[:,'Q1':'Q4'] + n
      n_df['avg'] = n_df.sum(1)

      return n_df

  add_mean(df,100) #此时原本的df没变

  df.pipe(add_mean,100) #运行结果与上图一致

  #函数部分还可以使用lambda

  df.pipe(lambda df,x,y: df[(df.Q1>x) & (df.Q2 >y)],60,70)  #选出df中同时满足Q1>60,Q2>70的数据

2.2 apply()

  #apply（），对df按行和列（默认逐列传入）进行函数处理，也支持series（传入具体值）

  #将name转换为全小写
  df.name.apply(lambda x : x.lower())

  #计算每个季度的平均成绩，计算方法为去掉一个最高分和去掉一个最低分

  def avg(s ):
      min = s.min()
      max = s.max()
      average = (s.sum()-min-max)/ (s.count()-2)
      return average

  df.select_dtypes(include='number').apply(avg)

  #计算每个学生的平均成绩

  df1 = df.set_index('name')
  df1.select_dtypes(include='number').apply(avg)

  #与np.where()配合使用 np.where(逻辑表达式,替换值1，替换值2)

  df.apply(lambda x: (x.team=='A') & (x.Q1>90), axis=1).map({True:'GOOD',False:'Other'})

2.3 applymap()

  #applymap（），对dataframe或者series的所有元素（不包括索引）应用函数处理

  #使用lambda时，变量是指具体的值

  #例子：计算每个数据的长度

  df.applymap(lambda x:len(str(x)))

2.4 map()

  #map()根据输入对应关系映射值返回最终数据

  #可传入一个人字典（键为原值，值为新值）
  #可传入一个函数（参数为series的每个值）

  df.team.map({'A':'一班','B':'二班','C':'三班','D':'四班'}) #没有映射值的会被填为NAN

  df.team.map('I am a {}'.format)  #传入格式化表达式来格式化数据内容

  df.Q1.map('11{}'.format) #数字会被转为字符

2.5 agg()

  #agg使用指定轴上的一项或多项操作进行汇总
  #可以传入一个函数挥着函数的字符

  #每列的最大值
  df.agg('max')

  #将所有列聚合产生sum和min两行
  #传入多个函数

  df.agg(['sum','min'])

  #序列多个聚合
  df.agg({'Q1':['sum','min'],'Q2':['sum','max']})

  #分组后聚合

  df.groupby('team').agg('max')

  #支持每个列分别用不同的方法聚合
  #支持指定轴的方向

  #1、不同列使用不同的方法进行聚合

  df.agg(最大值=('Q1',max),
        最小值=('Q2',min),
        平均值=('Q3',np.mean),
        求和=('Q4',lambda x :x.sum())
        )

  #2、按行聚合
  df.loc[:,'Q1':'Q4'].agg(np.mean,axis=1)

2.6 transform()

  #datafram或者series自身调用函数，并返回一个与自身长度相同的数据

  #1、应用匿名函数
  df.transform(lambda x:x*2)  #字符串会变成重复两遍，数字会*2

  #调用多个函数

  df.transform([np.sqrt,np.exp]) #自动筛选数字列，并应用

3、参考文献

《深入浅出Pandas》