TensorFlow 回归模型

TensorFlow 回归模型

首先，导入所需的库和模块。代码中使用了numpy进行数值计算，matplotlib进行数据可视化，tensorflow进行机器学习模型的构建和训练，sklearn进行多项式特征转换。dataset()函数用于生成模拟数据集。在这里，使用np.arange()生成了从-25到25的一组输入数据X，然后根据公式X**3 + 20计算对应的输出数据y，并添加了随机噪声。可选参数show用于控制是否绘制数据散点图。对生成的数据进行归一化处理。将X和y分别除以它们的最大值，以将它们缩放到0和1之间，以便更好地适应模型训练。创建一个Sequential模型，它是一个线性堆叠模型，只包含一个全连接层。全连接层的单元数为1，输入形状为[1]，表示接受一个特征。

模型使用Adam优化器和均方误差损失函数进行编译。使用归一化后的数据X和y进行模型训练。训练过程使用了500个epochs，通过调用model.fit()方法来实现。训练过程中会输出每个epoch的训练损失。绘制训练过程中损失的变化情况。使用plt.plot()函数绘制损失曲线，横坐标表示epochs，纵坐标表示均方误差损失值。计算最终训练得到的模型在训练数据上的均方误差。获取训练历史中的最后一个损失值作为均方误差。使用训练得到的模型对归一化后的数据X进行预测，得到预测结果y_hat。绘制原始数据和模型预测结果的散点图和拟合线。使用plt.scatter()函数绘制原始数据散点图，使用plt.plot()函数绘制拟合线。添加合适的标签和标题，以及均方误差的文本显示。使用PolynomialFeatures进行多项式特征转换。通过调用poly.fit_transform()方法，将一维的X数据转换为二次、三次和四次多项式的特征矩阵。转换后的特征矩阵将作为新的输入数据进行模型训练。创建新的Sequential模型，输入形状根据不同的多项式次数选择合适的值。使用相同的优化器和损失函数进行编译。使用转换后的特征矩阵进行模型训练，过程与之前的训练过程相同。绘制多项式拟合的训练损失曲线和拟合结果。与之前的步骤相似，使用plt.plot()函数和plt.scatter()函数进行绘制。

1. 单变量线性回归 代码以及运行结果

import tensorflow as tf

import matplotlib.pyplot as plt

import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

# 输入数据

x = [0.0, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0, 9.0]

y = [5.1, 7.9, 11.1, 13.9, 17.2, 19.9, 22.8, 26.1, 29.1, 31.9]

# 定义层

layer0 = tf.keras.layers.Dense(units=1, input_shape=[1])

model = tf.keras.Sequential([layer0])

# 编译模型

model.compile(loss='mean_squared_error', optimizer=tf.keras.optimizers.Adam(1))

# 训练模型

history = model.fit(x, y, epochs=200, verbose=False) # type: ignore

# 预测

print('Prediction: {}'.format(model.predict([10])))

# 获取权重和偏置

weights = layer0.get_weights()

print('weight: {} bias: {}'.format(weights[0], weights[1]))

# 绘制损失图像

plt.figure(1)

plt.xlabel('Epoch Number')

plt.ylabel("Loss Magnitude")

plt.plot(history.history['loss'])

plt.show()

# 绘制拟合曲线

plt.figure()

weights = layer0.get_weights()

weight = weights[0][0]

bias = weights[1]

print('weight: {} bias: {}'.format(weight, bias))

y_learned = x * weight + bias

plt.scatter(x, y, label='Training Data')

plt.plot(x, y_learned, color='orangered', label='Fit Line')

plt.legend()

plt.show()

2. 多变量线性回归 代码以及运行结果

3. 单变量多项式回归：

实验结果图像分析：

清晰可见的是一次多项式是一条直线 拟合效果最差 而其他高次多项式都可以简单拟合这个曲线，具体分析：

二次多项式拟合：

二次多项式拟合使用了具有3个特征的输入数据X_2进行训练。每个样本的特征是原始输入X的幂次项和交叉项的组合。

二次多项式模型的训练损失曲线下降较快，在较少的epochs后就能达到较低的损失值。

二次多项式模型在训练数据上能够比较好地拟合，并且损失较小。拟合曲线在数据点附近能够较好地捕捉到曲线的形状。

在拟合曲线的远离数据点的区域，二次多项式模型可能存在过拟合的问题，导致曲线与真实曲线有较大偏差。

三次多项式拟合：

三次多项式拟合使用了具有4个特征的输入数据X_3进行训练。每个样本的特征是原始输入X的幂次项和交叉项的组合。

三次多项式模型的训练损失曲线下降较慢，需要更多的epochs才能达到较低的损失值。

三次多项式模型在训练数据上能够更好地拟合，损失较小。拟合曲线能够更好地适应数据的曲线形状。

与二次多项式相比，三次多项式模型在远离数据点的区域有更好的拟合能力，捕捉到了曲线更多的细节。

四次多项式拟合：

四次多项式拟合使用了具有5个特征的输入数据X_4进行训练。每个样本的特征是原始输入X的幂次项和交叉项的组合。

四次多项式模型的训练损失曲线下降更慢，需要更多的epochs才能达到较低的损失值。

四次多项式模型在训练数据上能够更好地拟合，损失较小。拟合曲线能够更好地适应数据的曲线形状，甚至在曲线的起伏处也有较好的拟合能力。

与三次多项式相比，四次多项式模型在远离数据点的区域继续增加了拟合的能力，更好地捕捉到了曲线的细微变化。

综上所述，随着多项式次数的增加，模型的拟合能力和灵活性也增加，可以更好地适应复杂的数据模式。然而，高次多项式模型也更容易出现过拟合的问题，尤其是在远离数据点的区域。因此，在选择多项式次数时需要权衡模型的复杂性和过拟合的风险，以及对训练数据和未知数据的拟合效果的要求。

4. 逻辑回归

鸢尾花分类是机器学习中一个经典的问题！这个分类问题通常使用鸢尾花数据集进行研究和讨论。

鸢尾花数据集是一个经典的机器学习数据集，由统计学家和植物学家R.A. Fisher在30年代收集整理。该数据集包含150个样本，分为三种不同的鸢尾花：山鸢尾（Setosa）、变色鸢尾（Versicolor）和维吉尼亚鸢尾（Virginica）。

鸢尾花分类问题的目标是根据鸢尾花的测量特征（如花瓣长度、花瓣宽度、萼片长度和萼片宽度）来预测鸢尾花的类型。通过机器学习算法和模型，可以利用这些特征对鸢尾花进行准确的分类。

鸢尾花分类问题在机器学习和模式识别领域被广泛应用，常用来解释和演示各种分类算法的性能和效果。它是一个相对简单而又有挑战性的问题，适合初学者学习和实践。

import numpy as np

import pandas as pd

import seaborn as sns

import matplotlib.pyplot as plt

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from tensorflow.keras.utils import to_categorical

import tensorflow as tf

# 读取鸢尾花数据集

iris = load_iris()

print(iris.DESCR)

print(iris.feature_names)

print(iris.target_names)

print(iris.data[0])

print(iris.target[0])

# 将数据集转换为DataFrame，并进行数据处理

df_iris = pd.DataFrame(iris.data, columns=iris.feature_names)

df_species = pd.DataFrame(iris.target, columns=['species'])

df_iris = pd.concat([df_iris, df_species], axis=1, join='outer')

df_iris['species'].replace([0, 1, 2], ['setosa', 'versicolor', 'virginica'], inplace=True)

# 绘制特征间的关系图

sns.pairplot(df_iris, hue='species', markers=["o", "s", "D"])

plt.savefig('pairplot.png')

plt.show()

# 划分训练集和测试集

data_X = iris.data

data_y = to_categorical(iris.target)  # 进行one-hot编码

train_X, test_X, train_y, test_y = train_test_split(data_X, data_y, test_size=0.3, random_state=0)

# 构建模型

model = tf.keras.models.Sequential([

tf.keras.layers.Input(4),

tf.keras.layers.Dense(100, activation='relu'),

tf.keras.layers.Dense(3, activation='softmax')

])

# 编译模型

model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.01),

loss='categorical_crossentropy',

metrics=['accuracy'])

# 模型训练

result = model.fit(train_X, train_y, batch_size=32, epochs=50, validation_data=(test_X, test_y), verbose=1)

# 绘制准确率曲线

plt.figure()

plt.title('Accuracy')

plt.xlabel('Epoch')

plt.ylabel('Accuracy')

plt.plot(result.history['accuracy'], label='Train')

plt.plot(result.history['val_accuracy'], label='Test')

plt.legend()

plt.show()

# 绘制损失函数曲线

plt.figure()

plt.title('Categorical Crossentropy Loss')

plt.xlabel('Epoch')

plt.ylabel('Loss')

plt.plot(result.history['loss'], label='Train')

plt.plot(result.history['val_loss'], label='Test')

plt.legend()

plt.show()

# 使用evaluate函数评估模型在训练集和测试集上的表现

train_score = model.evaluate(train_X, train_y)

test_score = model.evaluate(test_X, test_y)

print('Train loss:', train_score[0])

print('Train accuracy:', train_score[1])

print('Test loss:', test_score[0])

print('Test accuracy:', test_score[1])

# 预测结果

pred_train = model.predict(train_X)

pred_test = model.predict(test_X)

pred_train = np.argmax(pred_train, axis=1)

pred_test = np.argmax(pred_test, axis=1)

print(pred_train)

print(np.argmax(train_y, axis=1))

print(pred_test)

print(np.argmax(test_y, axis=1))

下面是对代码的详细分析：

导入所需的库和模块：

numpy：用于处理数值计算。

sklearn.datasets.load_iris：用于加载鸢尾花数据集。

sklearn.model_selection.train_test_split：用于划分训练集和测试集。

tensorflow.keras.utils.to_categorical：用于进行one-hot编码。

tensorflow：用于构建和训练神经网络模型。

matplotlib.pyplot：用于绘制图表。

pandas：用于数据处理和分析。

seaborn：用于绘制数据关系图。

读取鸢尾花数据集：

使用load_iris()函数加载鸢尾花数据集，并将数据存储在iris变量中。

打印数据集的描述信息、特征列的名称、目标列的类别名称以及第一个样本的特征值和目标值。

数据处理和可视化：

将特征数据转换为pandas的DataFrame格式，并添加特征列的名称。

创建一个新的列species，将目标列的数值标签替换为相应的类别名称。

使用seaborn库的pairplot函数绘制特征间的关系图，并设置不同类别的标记样式。

将图表保存为文件pairplot.png并显示出来。

划分训练集和测试集：

将特征数据和目标数据分别赋值给data_X和data_y变量。

使用train_test_split函数将数据划分为训练集和测试集，其中测试集占总数据的30%。

train_X和test_X为划分后的特征数据，train_y和test_y为划分后的目标数据。

构建神经网络模型：

使用tf.keras.models.Sequential顺序模型创建一个序列化的模型对象。

添加输入层和两个全连接层，其中输入层的大小为4（特征的维度），第一个全连接层有100个神经元，使用ReLU激活函数，第二个全连接层有3个神经元，使用softmax激活函数。

编译模型：

使用model.compile方法对模型进行编译。

设置优化器为Adam，并指定学习率为0.01。

设置损失函数为分类交叉熵（categorical_crossentropy）。

设置评估指标为准确率（accuracy）。

训练模型：

使用model.fit方法训练模型。

设置批处理大小为32，迭代训练数据50次（epochs=50）。

设置验证集为测试集，并打印训练过程中的指标信息。

绘制准确率和损失图表：

使用matplotlib.pyplot库绘制训练过程中准确率和损失的变化曲线。

绘制训练集和测试集的准确率曲线。

绘制训练集和测试集的损失曲线。

评估模型：

使用model.evaluate方法评估训练集和测试集的损失和准确率。

打印训练集的损失和准确率。

打印测试集的损失和准确率。

模型预测：

使用训练好的模型对训练集和测试集进行预测。

使用np.argmax函数将预测结果转换为类别标签。

打印训练集的预测结果、真实标签和测试集的预测结果、真实标签。