San Francisco Crime Classification非数值性多分类问题

给出了旧金山以往犯罪活动的相关信息，预测特定条件下的犯罪情况

分析数据集和测试集信息：

训练集给出的信息有：

1.Dates：时间日期和时间，这里考虑时间对犯罪活动有影响，日期和下边的周几有相似处，取周几作为特征，因为节日是少数情况

2.category：犯罪分类，就是实例的标签

3.descript：对于犯罪的描述，没用的信息

4.DayOfWeek：周几，可能是有影响的

5.PdDistrict：地区，重要信息

6.Resolution：缺失值太多，弃用

7.Address：分类太多，而且和地区重复，弃用

8.坐标：和地区重复，弃用

测试集给出的信息有Dates，DayOfWeek，PdDistrict，Address，坐标

所以最后的特征选择为：Dates，DayOfWeek，PdDistrict

这个题的特征比较好选择，所以没有数据分析和可视化的过程，数据特征分析是很重要的能力，但是一直不会，不知道应该用怎么样的模式系统地进行分析。

这个新手题目最重要的地方我觉得应该是多分类，对于非数值类型的编码处理和朴素贝叶斯算法

看一下官方给出的提交样例：

可以看出，最后每个id的结果不是直接显示分类，而是不同的分类显示概率（这也符合生成模型）

解题过程和代码：

1.导包

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.naive_bayes import BernoulliNB
from sklearn.metrics import log_loss
from sklearn.model_selection import train_test_split

2.数据处理，主要是读文件、对非数值类型进行编码，组合特征（特征筛选这次基本没有）

# 读入文件，并指定第一列为日期时间
train = pd.read_csv('train.csv', parse_dates=['Dates'])
test = pd.read_csv('test.csv', parse_dates=['Dates'])
# 分类
cate = train['Category']
'''
离散特征的编码分为两种情况：

1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码

2、离散特征的取值有大小的意义，比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}
'''
# 对区域和星期几和时间进行独热编码
days = pd.get_dummies(train['DayOfWeek'])
dist = pd.get_dummies(train['PdDistrict'])
# 以后时间格式的数据可以在一开始就指定出那一列是时间数据，然后通过下边的方法提取时间或者日期，就不用自己进行提取了
hour = train.Dates.dt.hour
hour = pd.get_dummies(hour)

# 组合特征
# 可以将刚才处理好的一列数据直接添加到数据新建的一个列
# 也可以用pandas的concat()函数，其中参数axis为0时是把列相同的多行数据进行收尾拼接，axis=1时是将多列进行拼接
trainData = pd.concat([days, dist, hour], axis=1)
trainData['cate'] = cate

# 对测试数据进行处理
# 经过get_dummies()进行one-hot处理后series会变成dataframe，列就是原来series中的各类数据
days = pd.get_dummies(test['DayOfWeek'])
dist = pd.get_dummies(test['PdDistrict'])
# 提取出时间信息，记住这个Dates数据的方法
hour = test.Dates.dt.hour
hour = pd.get_dummies(hour)
# pandas库中的concat方法是将DataFrame拼接，当axis=0时将行拼接，当axis=1时将列拼接
testData = pd.concat([days, dist, hour], axis=1)
features = ['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday',
            'BAYVIEW', 'CENTRAL', 'INGLESIDE', 'MISSION',
            'NORTHERN', 'PARK', 'RICHMOND', 'SOUTHERN', 'TARAVAL', 'TENDERLOIN']
hou = [x for x in range(24)]
features = features + hou

3.交叉验证

# 交叉验证
# 训练数据和测试数据分离
training,validation = train_test_split(trainData,train_size=0.6)
# 建立模型
bayes = BernoulliNB()
bayes.fit(training[features],training['cate'])
# 测试集预测，计算错误率
# predict_proba返回一个矩阵，矩阵每一行对应每个实例，一行中的各个float代表判为各个分类的概率
predict = np.array(bayes.predict_proba(validation[features]))
result = pd.DataFrame(predict,columns=bayes.classes_)
# log_loss要求参数都是one-hot编码
print log_loss(validation['cate'],predict)

4.建模预测

# 伯努利朴素贝叶斯
bayes = BernoulliNB()
bayes.fit(trainData[features], trainData['cate'])
predict = np.array(bayes.predict_proba(testData[features]))
result = pd.DataFrame(predict, columns=bayes.classes_)
result.to_csv('result.csv', index=True, index_label='Id')