数据分析06 /pandas高级操作相关案例：人口案例分析、2012美国大选献金项目数据分析

数据分析06 /pandas高级操作相关案例：人口案例分析、2012美国大选献金项目数据分析

目录

• 数据分析06 /pandas高级操作相关案例：人口案例分析、2012美国大选献金项目数据分析
  • 1. 人口分析案例
  • 2. 2012美国大选献金项目数据分析

1. 人口分析案例

• 需求：

  1. 导入文件，查看原始数据
  2. 将人口数据和各州简称数据进行合并
  3. 将合并的数据中重复的abbreviation列进行删除
  4. 查看存在缺失数据的列
  5. 找到有哪些state/region使得state的值为NaN，进行去重操作
  6. 为找到的这些state/region的state项补上正确的值，从而去除掉state这一列的所有NaN
  7. 合并各州面积数据areas
  8. 我们会发现area(sq.mi)这一列有缺失数据，找出是哪些行
  9. 去除含有缺失数据的行
  10. 找出2010年的全民人口数据
  11. 计算各州的人口密度
  12. 排序，并找出人口密度最高的五个州

• 代码实现：

  1.导入文件，查看原始数据

  import pandas as pd
  
  # 各州的全称和简称
  abb = pd.read_csv('./data/state-abbrevs.csv')
  abb.head()
  

  

  # 各州人口数据
  pop = pd.read_csv('./data/state-population.csv')
  pop.head()
  

  

  # 各州面积数据
  area = pd.read_csv('./data/state-areas.csv')
  area.head()
  

  

  2.将人口数据和各州简称数据进行合并

  abb_pop = pd.merge(abb,pop,left_on='abbreviation',right_on='state/region',how='outer') # how指定称outer，可以保证数据的完整性
  abb_pop.head()
  

  

  3.将合并的数据中重复的abbreviation列进行删除

  abb_pop.drop(labels='abbreviation',axis=1,inplace=True)
  abb_pop.head()
  

  4.查看存在缺失数据的列

  # 方式一：
  abb_pop.info()
  

  

  # 方式二：
  abb_pop.isnull().any(axis=0)
  

  

  5.找到有哪些state/region使得state的值为NaN，进行去重操作

  # 找出全称（state）的空值
  abb_pop['state'].isnull()
  
  # 找出空值对应的行数据（行数据中就有符合条件的简称）
  abb_pop.loc[abb_pop['state'].isnull()]
  
  # 在空所对应的行数据中取出简称（找到了空对应的简称）
  abb_pop.loc[abb_pop['state'].isnull()]['state/region']
  
  # 去重
  abb_pop.loc[abb_pop['state'].isnull()]['state/region'].unique()
  
  # nunique()统计去重之后结果的个数，n-> num
  abb_pop.loc[abb_pop['state'].isnull()]['state/region'].nunique()
  

  6.为找到的这些state/region的state项补上正确的值，从而去除掉state这一列的所有NaN

  思路：将state列中的空值都取出来，然后将其分成两组（PR对应的空值，USA对应的空）

  # 根据PR去state中定位空值
  abb_pop['state/region'] == 'PR'
  # 将PR对应的行数据取出，从行数据中定位空值，定位到的空值就是PR对应的空，空值赋值PR的全程
  abb_pop.loc[abb_pop['state/region'] == 'PR']
  
  # 将PR对应的state的空值的行索引获取
  indexs = abb_pop.loc[abb_pop['state/region'] == 'PR'].index
  indexs
  
  # 将indexs对应行中的state列的数据批量赋值成PR的全称
  abb_pop.loc[indexs,'state'] = 'Puerto Rico'
  

  # 将USA对应的全称的空值覆盖称United Status
  abb_pop['state/region'] == 'USA'
  abb_pop.loc[abb_pop['state/region'] == 'USA']
  indexs = abb_pop.loc[abb_pop['state/region'] == 'USA'].index
  abb_pop.loc[indexs,'state'] = 'United Status'
  

  7.合并各州面积数据areas

  abb_pop_area = pd.merge(abb_pop,area,on='state',how='outer')
  abb_pop_area.head()
  

  8.我们会发现area(sq.mi)这一列有缺失数据，找出是哪些行

  abb_pop_area['area (sq. mi)'].isnull()   # 判断area(sq. mi)列中存在的空值有哪些true
  abb_pop_area.loc[abb_pop_area['area (sq. mi)'].isnull()]  # 将area(sq. mi)的空值对应的行数据取出
  

  9.去除含有缺失数据的行

  drop_index = abb_pop_area.loc[abb_pop_area['area (sq. mi)'].isnull()].index  # 获取行索引
  abb_pop_area.drop(labels=drop_index,axis=0,inplace=True)   # 根据行索引进行行数据的删除
  

  10.找出2010年的全民人口数据，基于df进行条件查询

  abb_pop_area.query('ages == "total" & year == 2010')
  

  11.计算各州的人口密度

  abb_pop_area['midu'] = abb_pop_area['population'] / abb_pop_area['area (sq. mi)']
  abb_pop_area.head()
  

  12.排序，并找出人口密度最高的五个州,sort_values根据值排序

  abb_pop_area.sort_values(by='midu',ascending=False)
  
  # ascending表示是升序还是降序
  

  

• 人口分析案例总结：

  1. 读取文件：pd.read_csv('文件路径')

  2. 查看每一列的详细信息：data.info()

  3. df的条件查询：data.query('ages == "total" & year == 2010')

  4. 对某一列数据进行排序：data.sort_values(by='midu',ascending=False)

2. 2012美国大选献金项目数据分析

• 需求：

  1. 加载数据，查看数据的基本信息

  2. 指定数据截取，将如下字段的数据进行提取，其他数据舍弃

     cand_nm ：候选人姓名

     contbr_nm ： 捐赠人姓名

     contbr_st ：捐赠人所在州

     contbr_employer ： 捐赠人所在公司

     contbr_occupation ： 捐赠人职业

     contb_receipt_amt ：捐赠数额（美元）

     contb_receipt_dt ： 捐款的日期

  3. 对新数据进行总览df.info(),查看是否存在缺失数据

  4. 用统计学指标快速描述数值型属性的概要。df.describe()

  5. 空值处理。可能因为忘记填写或者保密等等原因，相关字段出现了空值，将其填充为NOT PROVIDE

  6. 异常值处理。将捐款金额<=0的数据删除

  7. 新建一列为各个候选人所在党派party

  8. 查看party这一列中有哪些不同的元素

  9. 统计party列中各个元素出现次数

  10. 查看各个党派收到的政治献金总数contb_receipt_amt

  11. 查看具体每天各个党派收到的政治献金总数contb_receipt_amt

  12. 将表中日期格式转换为'yyyy-mm-dd'

  13. 查看老兵(捐献者职业)DISABLED VETERAN主要支持谁

  14. 找出各个候选人的捐赠者中，捐赠金额最大的人的职业以及捐献额

​

• 代码实现：

  1.加载数据，查看数据的基本信息

  df = pd.read_csv('./data/usa_election.txt')
  df.head()
  

  2.指定数据截取，将如下字段的数据进行提取，其他数据舍弃

  df = df[['cand_nm','contbr_nm','contbr_st','contbr_employer','contbr_occupation','contb_receipt_amt','contb_receipt_dt']]
  

  

  3.对新数据进行总览df.info(),查看是否存在缺失数据

  df.info()
  
  数据总览如下：
  """
  <class 'pandas.core.frame.DataFrame'>
  RangeIndex: 536041 entries, 0 to 536040
  Data columns (total 7 columns):
  cand_nm              536041 non-null object
  contbr_nm            536041 non-null object
  contbr_st            536040 non-null object
  contbr_employer      525088 non-null object
  contbr_occupation    530520 non-null object
  contb_receipt_amt    536041 non-null float64
  contb_receipt_dt     536041 non-null object
  dtypes: float64(1), object(6)
  memory usage: 28.6+ MB
  """
  

  5.用统计学指标快速描述数值型属性的概要。df.describe()

  df.describe()
  

  

  5.空值处理。可能因为忘记填写或者保密等等原因，相关字段出现了空值，将其填充为NOT PROVIDE

  # 使用NOT PROVIDE对空值进行填充
  df.fillna(value='NOT PROVIDE',inplace=True)
  
  # 重新查看列是否有空值
  df.info()
  
  数据总览如下：
  """
  <class 'pandas.core.frame.DataFrame'>
  RangeIndex: 536041 entries, 0 to 536040
  Data columns (total 7 columns):
  cand_nm              536041 non-null object
  contbr_nm            536041 non-null object
  contbr_st            536041 non-null object
  contbr_employer      536041 non-null object
  contbr_occupation    536041 non-null object
  contb_receipt_amt    536041 non-null float64
  contb_receipt_dt     536041 non-null object
  dtypes: float64(1), object(6)
  memory usage: 28.6+ MB
  """
  

  6.异常值处理。将捐款金额<=0的数据删除

  df = df.loc[~(df['contb_receipt_amt'] <= 0)]
  

  7.新建一列为各个候选人所在党派party

  # 不同候选人党派对应表
  parties = {
    'Bachmann, Michelle': 'Republican',
    'Romney, Mitt': 'Republican',
    'Obama, Barack': 'Democrat',
    "Roemer, Charles E. 'Buddy' III": 'Reform',
    'Pawlenty, Timothy': 'Republican',
    'Johnson, Gary Earl': 'Libertarian',
    'Paul, Ron': 'Republican',
    'Santorum, Rick': 'Republican',
    'Cain, Herman': 'Republican',
    'Gingrich, Newt': 'Republican',
    'McCotter, Thaddeus G': 'Republican',
    'Huntsman, Jon': 'Republican',
    'Perry, Rick': 'Republican'
   }
  

  # 先查看共有多少个不同的候选人
  df['cand_nm'].unique()
  
  # 查看候选人的个数
  df['cand_nm'].nunique()
  
  # 利用映射为每个候选人添加党派信息
  df['party'] = df['cand_nm'].map(parties)
  df.head()
  

  

  8.查看party这一列中有哪些不同的元素

  df['party'].unique()
  

  9.统计party列中各个元素出现次数

  df['party'].value_counts()  # value_counts()统计Series中不同元素出现的次数
  

  10.查看各个党派收到的政治献金总数contb_receipt_amt

  # 应用分组
  df.groupby(by='party')['contb_receipt_amt'].sum()
  

  11.查看具体每天各个党派收到的政治献金总数contb_receipt_amt

  df.groupby(by=['contb_receipt_dt','party'])['contb_receipt_amt'].sum()
  

  12.将表中日期格式转换为'yyyy-mm-dd'

  # 应用运算工具
  def transform_date(d):
      day,month,year = d.split('-')
      month = months[month]
      return '20'+year+'-'+str(month)+'-'+day
  
  df['contb_receipt_dt'] = df['contb_receipt_dt'].map(transform_date)
  df.head()
  

  

  13.查看老兵(捐献者职业)DISABLED VETERAN主要支持谁

  # 1.取出老兵这个职业对应的行数据
  old_bing_df = df.loc[df['contbr_occupation'] == 'DISABLED VETERAN']
  
  # 2.根据竞选者分组
  old_bing_df.groupby(by='cand_nm')['contb_receipt_amt'].sum()
  

  14.找出各个候选人的捐赠者中，捐赠金额最大的人的职业以及捐献额

  df.groupby(by='cand_nm')['contb_receipt_amt'].max()
  
  # 此方法有不能满足要求，待更新
  

• 2012美国大选献金项目数据分析案例总结：

  1. 用统计学指标快速描述数值型属性的概要：df.describe()
  2. 统计Series中不同元素出现的次数：Series_obj.value_counts()