python短域名数据分析框架

本文数据源及分析方法均参考《利用python进行数据分析》一书。但我重新对数据分析目标和步骤进行了组织，可以更加清晰的呈现整个挖掘分析流程。

分析对象为美国某短域名网站记录的短域名生成数据（http://1usagov.measuredvoice.com/）。数据基本结构如下，可以看到内容包括所用浏览器和操作系统（’a’）、用户所在时区（’tz’）等信息。

records[0]
#[Out]# {u'a': u'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.78 Safari/535.11',
#[Out]#  u'al': u'en-US,en;q=0.8',
#[Out]#  u'c': u'US',
#[Out]#  u'cy': u'Danvers',
#[Out]#  u'g': u'A6qOVH',
#[Out]#  u'gr': u'MA',
#[Out]#  u'h': u'wfLQtf',
#[Out]#  u'hc': 1331822918,
#[Out]#  u'hh': u'1.usa.gov',
#[Out]#  u'l': u'orofrog',
#[Out]#  u'll': [42.576698, -70.954903],
#[Out]#  u'nk': 1,
#[Out]#  u'r': u'http://www.facebook.com/l/7AQEFzjSi/1.usa.gov/wfLQtf',
#[Out]#  u't': 1331923247,
#[Out]#  u'tz': u'America/New_York',
#[Out]#  u'u': u'http://www.ncbi.nlm.nih.gov/pubmed/22415991'}

分析目标包括：（1）得到各地区用户的数量统计并绘图；（2）得到各地区windows和非windows用户的数量统计并绘图。

针对分析任务1：得到各地区用户的数量统计并绘图

1）从文件读取数据

import pandas as pd
from pandas import  Series,DataFrame
import numpy as np
#此处为文件所在路径
path = 'D:\\apython\\usagov_bitly_data2012-03-16-1331923249.txt'
import json
records = [json.loads(line) for line in open(path)]

2）抽取用户时区信息

df = DataFrame(records)
timezones = df['tz'].fillna("missing")
timezones[timezones == ''] = "unknown"
timezones.head(2)
#[Out]# 0     America/New_York
#[Out]# 1       America/Denver

3）汇总统计时区信息

tz_counts = timezones.value_counts()
tz_counts.head(2)
#[Out]# America/New_York    1251
#[Out]# unkown               521

4）利用统计信息绘图

top10 = tz_counts[:10]
top10.plot(kind='barh')

针对分析任务2：得到各地区windows和非windows用户的数量统计并绘图

其中有几个步骤与任务1相同，不再重复介绍，统一标注为“同任务1”。

1）从文件读取数据

同任务1

2）抽取用户时区信息

同任务1

3）抽取操作系统信息

cdf = df[df.a.notnull()]
ops = ['windows' if ('Windows' in x) else 'not windows' for x in cdf['a']]
ops[:10]
#[Out]# ['windows',
#[Out]#  'not windows',
#[Out]#  'windows',
#[Out]#  'not windows',
#[Out]#  'windows',
#[Out]#  'windows',
#[Out]#  'windows',
#[Out]#  'windows',
#[Out]#  'not windows',
#[Out]#  'windows']

4）根据时区、系统信息分组

groups = cdf.groupby(['tz',ops])
groups.size()[:2]
#[Out]# tz
#[Out]#                                 not windows    245
#[Out]#                                 windows        276

5）汇总统计分组后的信息

mgroups = groups.size().unstack()
mgroups = mgroups.fillna(0)
mgroups[:2]
#[Out]#                                 not windows  windows
#[Out]# tz
#[Out]#                                         245      276
#[Out]# Africa/Cairo                              0        3
mgroups['sum'] = mgroups.sum(axis = 1)
#获取用户总量前10的地区
tsum10 = mgroups.sort_values('sum')[-10:]
tsum10
#[Out]#                      not windows  windows   sum
#[Out]# tz
#[Out]# America/Sao_Paulo             13       20    33
#[Out]# Europe/Madrid                 16       19    35
#[Out]# Pacific/Honolulu               0       36    36
#[Out]# Asia/Tokyo                     2       35    37
#[Out]# Europe/London                 43       31    74
#[Out]# America/Denver               132       59   191
#[Out]# America/Los_Angeles          130      252   382
#[Out]# America/Chicago              115      285   400
#[Out]#                              245      276   521
#[Out]# America/New_York             339      912  1251
tsum10 = tsum10.drop('sum', axis = 1)
tsum10
#[Out]#                      windows  not windows
#[Out]# tz
#[Out]# America/Sao_Paulo         20           13
#[Out]# Europe/Madrid             19           16
#[Out]# Pacific/Honolulu          36            0
#[Out]# Asia/Tokyo                35            2
#[Out]# Europe/London             31           43
#[Out]# America/Denver            59          132
#[Out]# America/Los_Angeles      252          130
#[Out]# America/Chicago          285          115
#[Out]#                          276          245
#[Out]# America/New_York         912          339

6）利用统计信息绘图

tsum10.plot(kind='barh')