python进行机器学习（一）之数据预处理

一、加载数据
　　houseprice=pd.read_csv('../input/train.csv') #加载后放入dataframe里
　  all_data=pd.read_csv('a.csv', header=0,parse_dates=['time'],usecols=['time','LotArea','price'])   #可以选择加载哪几列

　   houseprice.head()   #显示前5行数据

      houseprice.info()        #查看各字段的信息

      houseprice.shape     #查看数据集行列分布，几行几列

　   houseprice.describe()  #查看数据的大体情况

二、分析缺失数据
　　houseprice.isnull()                                                     #元素级别的判断，把对应的所有元素的位置都列出来，元素为空或者NA就显示True，否则就是False
 

　　 houseprice.isnull().any()　　　　　　　　　　　　    #列级别的判断，只要该列有为空或者NA的元素，就为True，否则False

　　 missing=houseprice.columns[houseprice.isnull().any()].tolist()  　　　　#将为空或者NA的列找出来

　　houseprice[missing].isnull().sum()　　　　　　　　　　　　　　　　#将列中为空或者NA的个数统计出来

　　# 将某一列中缺失元素的值，用value值进行填充。处理缺失数据时，比如该列都是字符串，不是数值，可以将出现次数最多的字符串填充缺失值。
　　def cat_imputation(column, value):
       　　houseprice.loc[houseprice[column].isnull(),column] = value

 　houseprice[['LotFrontage','Alley']][houseprice['Alley'].isnull()==True]      #从LotFrontage 和Alley 列中进行选择行，选择Alley中数据为空的行。主要用来看两个列的关联程度，是不是大多同时为空。
　　

　　houseprice['Fireplaces'][houseprice['FireplaceQu'].isnull()==True].describe()   #对筛选出来的数据做一个描述，比如一共多少行，均值、方差、最小值、最大值等等。

三、统计分析　

     houseprice['MSSubClass'].value_counts()         #统计某一列中各个元素值出现的次数

     print("Skewness: %f" % houseprice['MSSubClass'].skew())    #列出数据的偏斜度

　　print("Kurtosis: %f" % houseprice['MSSubClass'].kurt())　　 #列出数据的峰度

　　houseprice['LotFrontage'].corr(houseprice['LotArea'])         #计算两个列的相关度
　　
　  houseprice['SqrtLotArea']=np.sqrt(houseprice['LotArea'])   #将列的数值求根，并赋予一个新列

　  houseprice[['MSSubClass', 'LotFrontage']].groupby(['MSSubClass'], as_index=False).mean()  #跟MSSubClass进行分组，并求分组后的平均值

四、数据处理　

1)删除相关

　　del houseprice['SqrtLotArea']       #删除列

   　houseprice['LotFrontage'].dropna()   #去掉为空值或者NA的元素

　　houseprice.drop(['Alley'],axis=1)     #去掉Alley列，不管空值与否

　　df.drop(df.columns[[0,1]],axis=1,inplace=True)  #删除第1，2列，inplace=True表示直接就在内存中替换了，不用二次赋值生效。

       houseprice.dropna(axis=0)         #删除带有空值的行

       houseprice.dropna(axis=1)        #删除带有空值的列

2）缺失值填充处理

　　houseprice['LotFrontage']=houseprice['LotFrontage'].fillna(0)   　　#将该列中的空值或者NA填充为0
　　all_data.product_type[all_data.product_type.isnull()]=all_data.product_type.dropna().mode().values    #如果该列是字符串的，就将该列中出现次数最多的字符串赋予空值,mode()函数就是取出现次数最多的元素。
　　houseprice['LotFrontage'].fillna(method='pad')                         　　#使用前一个数值替代空值或者NA，就是NA前面最近的非空数值替换     
　　houseprice['LotFrontage'].fillna(method='bfill',limit=1)　#使用后一个数值替代空值或者NA，limit=1就是限制如果几个连续的空值，只能最近的一个空值可以被填充。
　　houseprice['LotFrontage'].fillna(houseprice['LotFrontage'].mean())  　　#使用平均值进行填充
　　houseprice['LotFrontage'].interpolate()       　　　　# 使用插值来估计NaN 如果index是数字，可以设置参数method='value' ，如果是时间，可以设置method='time'
　　houseprice= houseprice.fillna(houseprice.mean())  #将缺失值全部用该列的平均值代替，这个时候一般已经提前将字符串特征转换成了数值。

注：在kaggle中有人这样处理缺失数据，如果数据的缺失达到15%，且并没有发现该变量有多大作用，就删除该变量！

 3）字符串替换

　　houseprice['MSZoning']=houseprice['MSZoning'].map({'RL':1,'RM':2,'RR':3,}).astype(int)     #将MSZoning中的字符串变成对应的数字表示
 
4）数据连接
　　merge_data=pd.concat([new_train,df_test])  #讲训练数据与测试数据连接起来，以便一起进行数据清洗

      all_data = pd.concat((train.loc[:,'MSSubClass':'SaleCondition'], test.loc[:,'MSSubClass':'SaleCondition']))  #另一种合并方式，按列名字进行合并。
　　
　　res = pd.merge(df1, df2,on=['time'])     #将df1,df2按照time字段进行合并，两个df中都含有time字段

5）数据保存
　　merge_data.to_csv('merge_data.csv'，index=False)    #index=False，写入的时候不写入列的索引序号

6）数据转换
　　houseprice["Alley"] = np.log1p(houseprice["Alley"])     #采用log(1+x)方式对原数据进行处理，改变原数据的偏斜度，使数据更加符合正态曲线分布。
　　

 　  numeric_feats =houseprice.dtypes[houseprice.dtypes != "object"].index     #把内容为数值的特征列找出来

 　　#下面几行代码将偏斜度大于0.75的数值列做一个log转换，使之尽量符合正态分布，因为很多模型的假设数据是服从正态分布的

　　skewed_feats = train[numeric_feats].apply(lambda x: skew(x.dropna())) #compute skewness
　　skewed_feats = skewed_feats[skewed_feats > 0.75]
　　skewed_feats = skewed_feats.index
　　all_data[skewed_feats] = np.log1p(all_data[skewed_feats])

　　 houseprice= pd.get_dummies(houseprice)   #另外一种形式数据转换，将字符串特征列中的内容分别提出来作为新的特征出现，这样就省去了将字符串内容转化为数值特征内容的步骤了。

6）数据标准化
　我们都知道大多数的梯度方法（几乎所有的机器学习算法都基于此）对于数据的缩放很敏感。因此，在运行算法之前，我们应该进行标准化，或所谓的规格化。标准化包括替换所有特征的名义值，让它们每一个的值在0和1之间。而对于规格化，它包括数据的预处理，使得每个特征的值有0和1的离差。Scikit-Learn库已经为其提供了相应的函数。

from sklearn import preprocessing

# normalize the data attributes

normalized_X = preprocessing.normalize(X)

# standardize the data attributes

standardized_X = preprocessing.scale(X)