房价预测Task1

pandas：简单的房价预测实例

我们使用pandas等工具，对于给出的.csv文件进行处理，完成要求的几个Task。

利用sklearn的线性回归，对于房价进行简单的预测。

所有的要求，数据集等文件，请到我的GitHub仓库自行下载：github.com/rongyupan/HousePricePred

如果你是pandas这类数据分析工具的新手，那这个项目很适合你。因为这个项目只需要用到最基本，最简单的操作。

数据集描述

transactions.csv数据集是我们的主要数据集；agents.csv和agency.csv保存了agents和agency之间的关系，也就是每个agency下具体是哪几个agents。

下面我们针对每个task，对于使用到的函数，以及解决的思路进行一下简单的总结。

自己的经验

1.尽量使用pandas自带的函数进行处理

比如统计数量、平均、求和这种操作，使用自带的函数比自己写循环要靠谱。

可以这样理解：pandas更像python版的excel。在使用excel要对行/列求和之类的操作时，你会自己重写一个函数吗？

基本上在excel里可以用鼠标点击完成的，大部分在pandas中有内置函数对应。

2. 先对数据表进行增删改

如果想要遵照经验1，你会发现有时候直接对原始的数据表操作不可行，这时候就要对数据表进行筛选。

在完成下面每个task之前，几乎都需要对于数据表进行增删改，增加/删除/改动某几列。

我们改动数据表的目的就是为了更好地完成经验1。

数据集导入

import pandas as pd 

df = df.read_csv('./transactions.csv')

Task 1

求出每个agency的交易总量，并降序排列。

思路：先获取每个agent的交易总量，再计算每个agency的数量。

计算每个agency的交易总量

解决方案：（1）遍历表中每行，根据agent来判断加到具体哪个agency；最直接，但是最麻烦。

（2）使用df['xxx'].value_counts()，自动统计每列中，出现的元素的对应数量。

agt = df['AgentId'].value_counts()
print(agt)

# 获取每个元素的数量
agt[0]

# return
3    93
2    88
4    76
1    74
5    44
0    39
Name: AgentId, dtype: int64

39

table显示

我们可以使用pd.DataFrame()来以表格的形式显示。

创建数据帧可以使用字典导入的方式，但一定要注意：字典的值的类型需要为list。

Agency = {'Agency Name':["Other","Your Estate","Lovely Housing"],\
        'Numbers':[sum_agc[0],sum_agc[1],sum_agc[2]]}
res_1 = pd.DataFrame(Agency)

降序排列

使用res_1.sort_values("Numbers", ascending=False)，也就是对于'Numbers'这一列进行降序排列。

如果没有ascending=False这个参数，默认为升序排列。

Task1其他方法

task1尽管简单，但是思路很多。上面是间接法：先使用value_counts()函数得到了每个agent的数量，间接求得了agency的数量。

方法1：新增一列AgencyId

我们只有agent的信息，那我们就先增加一列，整理出agency的信息。这里就是用到了上面说的经验2。

得到了agency的信息后，就能用value_counts()这个函数直接得到结果。

df_1 = df[['AgentId']]  # （1）
df_1['AgencyId'] = 1    # （2）

for i in range(len(df_1)):  # （3）
    agtId = df_1.loc[i, 'AgentId']  # （4）
    if agtId == 0:
        df_1.loc[i, 'AgencyId'] = 0 # （5）
    if agtId == 2 or agtId == 3 or agtId == 5:
        df_1.loc[i, 'AgencyId'] = 1
    if agtId == 1 or agtId == 4:
        df_1.loc[i, 'AgencyId'] = 2

df_1['AgencyId'].value_counts()

# return
1    225
2    150
0     39
Name: AgencyId, dtype: int64

（1）截取第一列df_1 = df['AgentId']和df_1 = df[['AgentId']]有何不同？

是维度的不同。第一种为一维，可以理解成一个array或list；第二种是二维的表格，表头为AgentId，每一列都有序号。

建议使用第二种写法。

（2）如何新增一列？

直接用df_1['Col_name']=1就能新建一列名为Col_name，值全为1的列。

（3）len(df_1)是什么意思？

获取df_1的长度，也就是多少行，当然，不包括表头的那一行。

等价的写法是df_1.shape[0]。df_1.shape会返回(414, 2)这样一个list，也就是取其第一个数。

（4）df_1.loc[i, 'AgentId']定位

第一个参数是第i行，从0开始；第二个位置是列位置。

（5）这里为什么不能先在前面设置一个参数，比如agcId，然后使用这个更短的参数不是写起来更方便？

为了修改值，只能这么写。如果使用了第三个参数，实质上是把这个位置的值复制了一遍，修改的是这个复制的值，而不是真实值。

这种方法代码这么多，没有刚开始的方法简洁，但是，如果后面有agency相关，那么这里的工作就是值得了。

方法2：数据表截取

为了获取agency的信息，有没有更简单的方法？

df_1 = df[['AgentId']]

df_1_0 = df_1[df_1['AgentId'] == 0]
df_1_0['AgencyId'] = 0
df_1_0

我们就得到了Agency0的所有数据。df_1['AgentId'] == 0会得到一列全是 True/False 的序列；

然后在加上df_1[df_1['AgentId'] == 0]就得到所有'AgentId'=0的内容；

最后在以上的基础上新增一列AgencyId即可。使用for等循环语句即可自动化这个过程

同样的，如果后面需要agency的信息，这样就会大大简化后面的处理。