使用ML.NET + ASP.NET Core + Docker + Azure Container Instances部署.NET机器学习模型

本文将使用ML.NET创建机器学习分类模型，通过ASP.NET Core Web API公开它，将其打包到Docker容器中，并通过Azure Container Instances将其部署到云中。

先决条件

本文假设您对Docker有一定的了解。构建和部署示例应用程序还需要以下软件/依赖项。重要的是要注意应用程序是在Ubuntu 16.04 PC上构建的，但所有软件都是跨平台的，应该适用于任何环境。

• Docker
• Azure CLI
• .NET Core 2.0
• Docker Hub Account

设置项目

我们要做的第一件事是为我们的解决方案创建一个文件夹。

mkdir mlnetacidemo

然后，我们想在新创建的文件夹中创建一个解决方案。

cd mlnetacidemo
dotnet new sln

建立模型

在我们的解决方案文件夹中，我们想要创建一个新的控制台应用程序，这是我们构建和测试我们的机器学习模型的地方。

设置模型项目

首先，我们要创建项目。从解决方案文件夹输入：

dotnet new console -o model

现在我们要将这个新项目添加到我们的解决方案中。

dotnet sln mlnetacidemo.sln add model/model.csproj

添加依赖项

由于我们将使用ML.NET框架，我们需要将其添加到我们的model项目中。

cd model
dotnet add package Microsoft.ML
dotnet restore

在我们开始训练模型之前，我们需要下载我们将用于训练的数据。我们通过创建一个名为data的目录并将数据文件下载到那里来实现。

mkdir data
curl -o data/iris.txt https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data

如果我们看一下数据文件，它看起来应该是这样的：

5.1,3.5,1.4,0.2,Iris-setosa
4.9,3.0,1.4,0.2,Iris-setosa
4.7,3.2,1.3,0.2,Iris-setosa
4.6,3.1,1.5,0.2,Iris-setosa
5.0,3.6,1.4,0.2,Iris-setosa
5.4,3.9,1.7,0.4,Iris-setosa
4.6,3.4,1.4,0.3,Iris-setosa
5.0,3.4,1.5,0.2,Iris-setosa
4.4,2.9,1.4,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa

训练模型

现在我们已经设置了所有依赖项，现在是构建模型的时候了。我利用了ML.NET入门网站上使用的演示。

定义数据结构

在我们model项目的根目录中，让我们创建两个被调用的类IrisData，IrisPrediction它们将分别定义我们的特性和预测属性。它们都将用于Microsoft.ML.Runtime.Api添加属性属性。

这是我们IrisData的样子：

using Microsoft.ML.Runtime.Api;

namespace model
{
public class IrisData
    {
        [Column("")]
        public float SepalLength;

        [Column("")]
        public float SepalWidth;

        [Column("")]
        public float PetalLength;

        [Column("")]
        public float PetalWidth;

        [Column("")]
        [ColumnName("Label")]
        public string Label;
    }
}

同样，这是IrisPrediction：

using Microsoft.ML.Runtime.Api;

namespace model
{
    public class IrisPrediction
    {
        [ColumnName("PredictedLabel")]
        public string PredictedLabels;
    }
}

构建LearningPipeLine

using Microsoft.ML.Data;
using Microsoft.ML;
using Microsoft.ML.Runtime.Api;
using Microsoft.ML.Trainers;
using Microsoft.ML.Transforms;
using Microsoft.ML.Models;
using System;
using System.Threading.Tasks;

namespace model
{
    class Model
    {

        public static async Task<PredictionModel<IrisData,IrisPrediction>> Train(LearningPipeline pipeline, string dataPath, string modelPath)
        {
            // Load Data
            pipeline.Add(new TextLoader(dataPath).CreateFrom<IrisData>(separator:',')); 

            // Transform Data
            // Assign numeric values to text in the "Label" column, because
            // only numbers can be processed during model training
            pipeline.Add(new Dictionarizer("Label"));

            // Vectorize Features
            pipeline.Add(new ColumnConcatenator("Features", "SepalLength", "SepalWidth", "PetalLength", "PetalWidth"));

            // Add Learner
            pipeline.Add(new StochasticDualCoordinateAscentClassifier());

            // Convert Label back to text
            pipeline.Add(new PredictedLabelColumnOriginalValueConverter() {PredictedLabelColumn = "PredictedLabel"});

            // Train Model
            var model = pipeline.Train<IrisData,IrisPrediction>();

            // Persist Model
            await model.WriteAsync(modelPath);

            return model;
        }
    }
}

除了构建LearningPipLine并训练我们的机器学习模型之外，该模型还序列化并保存在名为model.zip的文件中以供将来使用。

测试我们的模型

现在是时候测试所有内容以确保它正常工作。

using System;
using Microsoft.ML;

namespace model
{
    class Program
    {
        static void Main(string[] args)
        {

            string dataPath = "model/data/iris.txt";

            string modelPath = "model/model.zip";

            var model = Model.Train(new LearningPipeline(),dataPath,modelPath).Result;

            // Test data for prediction
            var prediction = model.Predict(new IrisData()
            {
                SepalLength = 3.3f,
                SepalWidth = 1.6f,
                PetalLength = 0.2f,
                PetalWidth = 5.1f
            });

            Console.WriteLine($"Predicted flower type is: {prediction.PredictedLabels}");
        }
    }
}

全部设定运行。我们可以通过从解决方案目录输入以下命令来完成此操作：

dotnet run -p model/model.csproj

运行应用程序后，控制台上将显示以下输出。

Automatically adding a MinMax normalization transform, use 'norm=Warn' or
'norm=No' to turn this behavior off.Using  threads to train.
Automatically choosing a check frequency of .Auto-tuning parameters: maxIterations = .
Auto-tuning parameters: L2 = 2.667734E-05.
Auto-tuning parameters: L1Threshold (L1/L2) = .Using best model from iteration .
Not training a calibrator because it is not needed.
Predicted flower type is: Iris-virginica

公开模型

此外，您会注意到在我们model项目的根目录中创建了一个名为model.zip的文件。这个持久化模型现在可以在我们的应用程序之外用于进行预测，我们接下来将通过API执行操作。

一旦构建了机器学习模型，您就希望部署它以便开始进行预测。一种方法是通过REST API。它的核心部分需要做的是接受来自客户端的数据输入并回复预测。为了帮助我们这样做，我们将使用ASP.NET Core API。

设置API项目

我们要做的第一件事是创建项目。

dotnet new webapi -o api

然后我们想将这个新项目添加到我们的解决方案中

dotnet sln mlnetacidemo.sln add api/api.csproj

添加依赖项

因为我们将加载我们的模型并通过我们的API进行预测，所以我们需要将ML.NET包添加到我们的api项目中。

cd api
dotnet add package Microsoft.ML
dotnet restore

引用模型

在我们构建机器学习模型的上一步中，它被保存到一个名为的文件中model.zip。这是我们将在API中引用的文件，以帮助我们进行预测。要在我们的API中引用它，只需将它从模型项目目录复制到我们的api项目目录中。

创建数据模型

我们的模型是使用数据结构构建的IrisData，IrisPrediction用于定义特征以及预测属性。因此，当我们的模型通过我们的API进行预测时，它也需要引用这些数据类型。因此，我们需要在项目内部定义IrisData和IrisPrediction类api。类的内容几乎与model项目中的内容相同，唯一的例外是我们的命名空间从更改model为api。

using Microsoft.ML.Runtime.Api;

namespace api
{
    public class IrisData
    {
        [Column("")]
        public float SepalLength;

        [Column("")]
        public float SepalWidth;

        [Column("")]
        public float PetalLength;

        [Column("")]
        public float PetalWidth;

        [Column("")]
        [ColumnName("Label")]
        public string Label;
    }
}

using Microsoft.ML.Runtime.Api;

namespace api
{
    public class IrisPrediction
    {
        [ColumnName("PredictedLabel")]
        public string PredictedLabels;
    }
} 

构建控制器

现在我们的项目已经建立，是时候添加一个控制器来处理来自客户端的预测请求了。在Controllers我们api项目的目录中，我们可以创建一个PredictController使用单个POST端点调用的新类。该文件的内容应如下所示：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading.Tasks;
using Microsoft.AspNetCore.Mvc;
using Microsoft.ML;

namespace api.Controllers
{
    [Route("api/[controller]")]
    public class PredictController : Controller
    {
        // POST api/predict
        [HttpPost]
        public string Post([FromBody] IrisData instance)
        {
            var model = PredictionModel.ReadAsync<IrisData,IrisPrediction>("model.zip").Result;
            var prediction = model.Predict(instance);
            return prediction.PredictedLabels;
        }
    }
}

测试API

当我们的predict控制器完成编码，就可以来测试它了。从我们mlnetacidemo解决方案的根目录中，输入以下命令。

dotnet run -p api/api.csproj

我们的请求的正文应该类似于下面的代码段：在POSTMAN或Insomnia等客户端中，向端点发送HHTP POST请求http://localhost:5000/api/predict。

{
    "SepalLength": 3.3,
    "SepalWidth": 1.6,
    "PetalLength": 0.2,
    "PetalWidth": 5.1,
}

打包应用程序

如果成功，返回的输出应该Iris-virginica与我们的控制台应用程序相同。大！现在我们的应用程序已在本地成功运行，现在是时候将它打包到Docker容器中并将其推送到Docker Hub。

创建Dockerfile

在我们的mlnetacidemo解决方案目录中，使用以下内容创建一个Dockerfile：

FROM microsoft/dotnet:2.0-sdk AS build
WORKDIR /app

# copy csproj and restore as distinct layers
COPY *.sln .
COPY api/*.csproj ./api/
RUN dotnet restore

# copy everything else and build app
COPY api/. ./api/
WORKDIR /app/api
RUN dotnet publish -c release -o out

FROM microsoft/aspnetcore:2.0 AS runtime
WORKDIR /app
COPY api/model.zip .
COPY --from=build /app/api/out ./
ENTRYPOINT ["dotnet", "api.dll"]

构建镜像

我们需要在命令提示符中输入以下命令。这需要一段时间，因为它需要下载.NET Core SDK和ASP.NET Core运行时Docker镜像。

docker build -t <DOCKERUSERNAME>/<IMAGENAME>:latest .

本地测试镜像

我们需要在本地测试我们的镜像，以确保它可以在云上运行。为此，我们可以使用该docker run命令。

docker run -d -p : <DOCKERUSERNAME>/<IMAGENAME>:latest

要停止容器，请使用Ctrl + C。虽然API暴露了端口80，但我们将其绑定到本地端口5000只是为了保持我们先前的API请求不变。向http://localhost:5000/api/predict适当的主体发送POST请求时，应该再次响应同样的结果Iris-virginica。

推送到Docker Hub

现在Docker镜像在本地成功运行，是时候推送到Docker Hub了。同样，我们使用Docker CLI来执行此操作。

docker login
docker push <DOCKERUSERNAME>/<IMAGENAME>:latest

部署到云

现在，最后一步是向全世界部署和展示我们的机器学习模型和API。我们的部署将通过Azure容器实例进行，因为它几乎不需要配置或管理服务器。

准备部署清单

尽管可以在命令行中执行部署，但通常最好将所有配置放在文件中以备文档，并节省时间，而不必每次都输入参数。使用Azure，我们可以通过JSON文件来实现。

{
  "$schema":
    "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "containerGroupName": {
      "type": "string",
      "defaultValue": "mlnetacicontainergroup",
      "metadata": {
        "description": "Container Group name."
      }
    }
  },
  "variables": {
    "containername": "mlnetacidemo",
    "containerimage": "<DOCKERUSERNAME>/<IMAGENAME>:latest"
  },
  "resources": [
    {
      "name": "[parameters('containerGroupName')]",
      "type": "Microsoft.ContainerInstance/containerGroups",
      "apiVersion": "2018-04-01",
      "location": "[resourceGroup().location]",
      "properties": {
        "containers": [
          {
            "name": "[variables('containername')]",
            "properties": {
              "image": "[variables('containerimage')]",
              "resources": {
                "requests": {
                  "cpu": ,
                  "memoryInGb": 1.5
                }
              },
              "ports": [
                {
                  "port":
                }
              ]
            }
          }
        ],
        "osType": "Linux",
        "ipAddress": {
          "type": "Public",
          "ports": [
            {
              "protocol": "tcp",
              "port": ""
            }
          ]
        }
      }
    }
  ],
  "outputs": {
    "containerIPv4Address": {
      "type": "string",
      "value":
        "[reference(resourceId('Microsoft.ContainerInstance/containerGroups/', parameters('containerGroupName'))).ipAddress.ip]"
    }
  }
}

现在我们可以使用这个模板并将其保存到我们mlnetacidemo解决方案根目录下的文件azuredeploy.json中。唯一需要改变的是containerimage的配置，将其替换为您的Docker Hub用户名和刚刚推送到Docker Hub的镜像的名称。

部署

为了部署我们的应用程序，我们需要确保登录我们的Azure帐户。要通过Azure CLI执行此操作，请在命令提示符下键入：

az login

按照提示登录。登录后，是时候为容器创建资源组了。

az group create --name mlnetacidemogroup --location eastus

成功创建组后，就可以部署我们的应用程序了。

az group deployment create --resource-group mlnetacidemogroup --template-file azuredeploy.json

完成后，可以使用以下命令清理资源：

az group delete --name mlnetacidemogroup

为部署初始化需要消耗几分钟的时间。如果部署成功，您应该在命令行上看到一些输出。寻找ContainerIPv4Address主机，这是可以访问容器的IP地址，更换URL后再次做一个POST请求到http://<ContainerIPv4Address>/api/predict，ContainerIPv4Address是在部署后命令行中找到的值。如果成功，响应内容应该像以前的请求一样返回Iris-virginica。

小结

在本文中，我们构建了一个分类机器学习模型，使用ML.NET该模型预测鸢尾花的分类，给出了四种分类的预测功能，通过ASP.NET Core REST API公开它，将其打包到容器中并使用Azure Container Instances将其部署到云中。虽然随着模型的变化，这些操作变得更加复杂，但是目前介绍的内容已经足够标准化，扩展此示例仅需要进行很少量的修改即可。