[Python]-sklearn模块-机器学习Python入门《Python机器学习手册》-02-加载数据：加载数据集

《Python机器学习手册——从数据预处理到深度学习》

这本书类似于工具书或者字典，对于python具体代码的调用和使用场景写的很清楚，感觉虽然是工具书，但是对照着做一遍应该可以对机器学习中python常用的这些库有更深入的理解，在应用中也能更为熟练。

以下是根据书上的代码进行实操，注释基本写明了每句代码的作用(写在本句代码之前)和print的输出结果（写在print之后）。不一定严格按照书上内容进行，根据代码运行时具体情况稍作顺序调整，也加入了一些自己的理解。

如果复制到自己的环境下跑一遍输出，相信理解会更深刻更清楚。

博客中每个代码块代表一次完整的运行结果，可以直接以此为单位复制并运行。

---

02-加载数据

包括：

1. 加载样本数据集
2. 创建仿真数据集
3. 加载CSV文件
4. 加载Excel文件
5. 加载json文件
6. 查询SQL数据库

其中1、2部分内容主要是sklearn库中datasets的基本应用，在本文中将进行详细叙述。

3-6部分主要是pandas库的读入，将在02-加载数据：加载文件中详细叙述。

02-1 加载样本数据集

# 加载现有数据集
from sklearn import datasets

# 加载手写数字数据集--图像分类
digits = datasets.load_digits()
print(digits.keys())
# dict_keys(['data', 'target', 'frame', 'feature_names', 'target_names', 'images', 'DESCR'])

# 加载波士顿房价数据集--回归
boston = datasets.load_boston()
print(boston.keys())
# dict_keys(['data', 'target', 'feature_names', 'DESCR', 'filename'])

# 加载鸢尾花数据集--分类
iris = datasets.load_iris()
print(iris.keys())
# dict_keys(['data', 'target', 'frame', 'target_names', 'DESCR', 'feature_names', 'filename'])

02-2 创建仿真数据集

# 创建仿真数据集
from sklearn.datasets import make_regression, make_classification, make_blobs, make_multilabel_classification

# 生成特征矩阵、目标向量以及模型系数--回归
features, target, coefficients = make_regression(n_samples = 100,
                                                 n_features = 3,
                                                 n_informative = 3,
                                                 n_targets = 1,
                                                 noise = 0.0,
                                                 coef = True,
                                                 random_state = 1)

# 生成特征矩阵、目标向量以及模型系数--分类
features, target = make_classification(n_samples = 100,
                                       n_features = 3,
                                       n_informative = 3,
                                       n_redundant = 0,
                                       n_classes = 2,
                                       weights = [.25, .75],
                                       random_state = 1)
# n_samples=100, # 样本个数
# n_features=20, # 特征个数
# n_informative=2, # 有效特征个数,有价值的重要特征
# n_redundant=2, # 冗余特征个数（有效特征的随机组合）,将重要特征进行线性组合的特征
# n_repeated=0, # 重复特征个数（有效特征和冗余特征的随机组合）
# n_classes=2, # 样本类别
# n_clusters_per_class=2, # 蔟的个数,簇的个数，某一个类别由几个簇构成
# weights=None, # 每个类的权重 用于分配样本点
# flip_y=0.01, # 随机交换样本的一段 y噪声值的比重
# class_sep=1.0, # 类与类之间区分清楚的程度
# hypercube=True, # 如果为True，则将簇放置在超立方体的顶点上；如果为False，则将簇放置在随机多面体的顶点上。
# shift=0.0, # 将各个特征的值移动，即加上或减去某个值
# scale=1.0, # 将各个特征的值乘上某个数，放大或缩小
# shuffle=True, # 是否洗牌样本
# random_state=None, # 随机种子

# 类别数量统计
from collections import Counter
print(Counter(target)) # Counter({1: 75, 0: 25})
# 特征维度
print(features.shape) # (100, 3)

# 生成特征矩阵、目标向量以及模型系数--多标签分类，一个features对应多个target
features, target = make_multilabel_classification(n_samples = 100,
                                       n_features = 10,
                                       n_classes = 5,
                                       n_labels = 2,
                                       length =50,
                                       allow_unlabeled = True,
                                       sparse = False,
                                       return_indicator='dense',
                                       return_distributions=False,
                                       random_state = None)

# 特征维度
print(features.shape) # (100, 10)
# 多标签示例
print(target[:4])
# [[1 1 0 1 0]
#  [0 1 0 0 0]
#  [0 1 0 0 1]
#  [0 1 0 1 1]]

# 生成特征矩阵、目标向量以及模型系数--聚类
features, target = make_blobs(n_samples = 100,
                              n_features = 2,
                              centers = 3,
                              cluster_std = 0.5,
                              shuffle = True,
                              random_state = 1)

# n_samples=100, # 样本数量，如果是数组，则序列的每个元素表示每个聚簇的样本数量。
# n_features=2, # 特征数量
# centers=None, # 中心，一种是int决定生成的中心数量，一种是array决定固定的中心位置(长度等于n_samples数组长度)
# cluster_std=1.0, # 聚簇的标准差
# center_box(-10.0, 10.0), # 聚簇中心的边界框
# shuffle=True, # 是否洗牌样本
# random_state=None #随机种子

# 聚类数据集可视化
import matplotlib.pyplot as plt

plt.figure()
plt.title('Data')
plt.scatter(features[:, 0], features[:, 1], marker='o', c=target, s=30)
plt.show()
plt.savefig('blobs.png')
plt.close()