作者 | Revolver

无论是第一次设置TensorFlow的新手数据科学爱好者,还是使用TB级数据的经验丰富的AI工程师,安装库、软件包或者框架总是一个困难又繁琐的过程。但是像Docker这样的集装箱化工具正在彻底改变着软件的可重复性,只不过它们还没有在数据科学和人工智能社区中流行起来。但随着机器学习框架和算法的不断发展,我们将很难花时间专注于学习所有相关的开发人员工具,尤其是那些与模型构建过程没有直接关联的工具。

在这篇文章中,我将展示如何使用docker和python工具包 datmo 为任何流行的数据科学和AI框架快速配置环境。

一. Docker

1. docker是什么

该软件于2013年由dotCloud 公司推出,发布以来一直备受关注和讨论,被认为可能会改变软件行业。

2. 为什么使用docker

如果让你说出软件开发最烦人的事情,那么环境配置必然是其中之一。例如开始编写Python应用程序,那么你的第一个步骤就是在您的计算机上安装Python。软件运行时,你不仅需要让自己计算机上的环境需适合你的应用程序按预期运行,并且还需要与生产环境相匹配。这就是所谓的环境一致性问题。这里面大量的重复劳动不说,还经常出现系统不兼容等莫名其妙的问题,非常令人崩溃。很可能再自己机器上跑通了,但放到用户的环境里,或者服务器上就出问题了。

那么可不可以在软件安装的时候把软件需要的环境一并复制过去呢?虚拟机(virtual machine)就是带环境安装的一种解决方案。它可以在一种操作系统里面运行另一种操作系统,但它的缺点很多:资源占用多、冗余步骤多、启动慢等等。

Docker是一种全新的虚拟化方式。传统虚拟机技术是虚拟出一套硬件后,在其上运行一个完整操作系统,在该系统上再运行所需应用进程;而容器内的应用进程直接运行于宿主的内核,容器内没有自己的内核,而且也没有进行硬件虚拟。因此容器要比传统虚拟机更为轻便。在这样的前提下,它跟传统的虚拟化方式相比具有众多优势:

  • 高效的利用系统资源。

  • 启动速度快。容器里面的应用,直接就是底层系统的一个进程,而不是虚拟机内部的进程。由于直接运行于宿主内核,无需启动完整的操作系统,因此可以做到秒级、甚至毫秒级的启动时间。

  • 确保了应用运行环境一致性。

  • 可以在很多平台上运行,无论是物理机、虚拟机、公有云、私有云,甚至是笔记本,其运行结果是一致的。

  • 容器只要包含用到的组件即可,而虚拟机是整个操作系统的打包,所以容器文件比拟机文件要小很多。

3. 如何使用docker

首先要理解Docker的三个概念:镜像、容器、仓库。

镜像(Image)和容器(Container)的关系,就像是面向对象程序设计中的 类 和 实例 一样,镜像是静态的定义,容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。镜像是只读的,可以用来创建Docker容器,容器看做是一个简易版的Linux环境(包括root用户权限、进程空间、用户空间和网络空间等)和运行在其中的应用程序。

Docker Registry 是集中存放镜像文件的场所,提供集中的存储、分发镜像的服务。一个 Docker Registry中可以包含多个仓库(Repository);每个仓库可以包含多个标签(Tag);每个标签对应一个镜像。

最常使用的 Registry 公开服务是官方的 Docker Hub,这也是默认的 Registry,并拥有大量的高质量的官方镜像。

这里以TensorFlow机器学习框架搭建为例讲解如何利用docker快速搭建环境。

首先你需要安装并启动Docker。如果要使用GPU则安装nvidia-docker。

1) 直接使用别人做好的镜像

在命令行输入以下两条命令:

docker image pull tensorflow/tensorflow
docker run -it  -p 8888:8888  -v /$(pwd)/notebooks:/notebooks  tensorflow/tensorflow

第一行命令在Docker Hub上拉取tensorflow官方镜像的cpu版本。

第二行则由此镜像创建一个容器,并在容器里运行jupyter服务。 在你的浏览器上打开http://localhost:8888/,就可以在jupyter里导入TensorFlow包了。

-v 参数的作用是将宿主机当前目录下的notebook目录挂载到容器内的/notebooks目录,不添加这个参数的话,当结束 container 的时候,jupyter notebook 里的内容也会随之消失。

我们还可以进入到容器里查看容器的环境配置信息:

docker run -it  -p 8888:8888  tensorflow/tensorflow  bash

解释一下参数含义:

-i:以交互模式运行容器,通常与 -t 同时使用

-t:为容器重新分配一个伪输入终端,通常与 -i 同时使用

bash:在容器内执行bash命令

root@21cebb7bd6b4:/notebooks# python
Python 2.7.12 (default, Dec  4 2017, 14:50:18)
[GCC 5.4.0 20160609] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow
>>>
root@21cebb7bd6b4:/notebooks# python3
Python 3.5.2 (default, Nov 23 2017, 16:37:01)
[GCC 5.4.0 20160609] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
ImportError: No module named 'tensorflow'

2) 保存修改后的容器为新的镜像

通过在容器里执行bash命令后我们可以看到,TensorFlow官方提供的这个容器的环境已经安装了Python2和Python3,不过只有在python2上安装了TensorFlow的环境,如果你想在python3运行TensorFlow的话,可以自己手动在容器里进行你喜欢的环境配置

有没有办法把修改好的容器作为基础镜像,以后需要创建容器的时候都使用这个新的镜像呢?通过命令 docker commit [CONTAINER] 可以提交容器副本,制作属于你自己的镜像。命令格式如下:

docker commit -m="description" -a="ahthorName" 97744639b45d ahthorName/tensorflow-python3:latest

参数说明:

-m: 提交的描述信息

-a: 声明镜像作者

97744639b45d:容器ID

ahthorName/tensorflow-python3:latest: 指定要创建的目标镜像名

docker ps -a 这条命令可以列出所有已经创建的未删除的容器。

这里分享一个docker hub 上的镜像docker pull dash00/tensorflow-python3-jupyter,里面已经配置好了python3下TensorFlow的环境,大家可以直接拉取使用。

3)dockerfile定义全新镜像

上面的方法是在基础镜像的容器上做修改创建我们自己的镜像,我们也可以编写一个Dockerfile来构建全新的镜像。我们已经知道Docker镜像是制作Docker容器的模版,而Dockerfile则是一个定义Docker镜像的文件。下面我们尝试编写一个Dockerfile。

Dockerfile定义了容器内的环境配置。在此环境中,对网络接口和磁盘驱动器等资源的访问都是虚拟化的,该环境与系统的其他部分隔离。因此您需要将端口映射到外部的宿主机环境,并具体指定哪些文件是跟外部环境保持一致的。只要在定义好此操作之后,你就可以预期,无论什么时候你运行这个文件,由Dockerfile中定义的应用程序环境的构建都会执行完全相同的操作。

如何创建

这里是一个示例:创建一个空目录,创建一个名为的文件dockerfile,再创建两个文件requirements.txt和app.py和dockerfile放在一起。

以下是dockerfile文件内容,注释里有条语句的解释:

# 使用python:2.7-slim作为基础镜像
FROM python:2.7-slim # 指定工作目录(或者称为当前目录)
WORKDIR /app # 将当前文件夹下的内容(requirements.txt和app.py)复制到容器里的/app目录下
ADD . /app # 安装在requirements.txt文件里指定的python包
RUN pip install --trusted-host pypi.python.org -r requirements.txt # 向外部环境暴露80端口
EXPOSE 80 # 设置环境变量
ENV NAME World # 一旦容器开始运行,则运行app.py作为容器的主进程
CMD ["python", "app.py"]

FROM 指定基础镜像,是必备的指令,并且必须是第一条指令。在 Docker Store 上有非常多的高质量的官方镜像提供给我们使用。

RUN 指令是用来执行命令行命令的。

CMD 指令用于指定默认的容器主进程的启动命令。有别于传统虚拟机概念,对于容器而言,其启动程序就是容器的主要进程,容器就是为了主进程而存在的。

有了 Dockerfile 文件,我们就可以使用docker image build命令创建 image 文件了。运行:

#-t参数用来指定 image 文件的名字
Docker  build  -t  friendlyhello

如果运行成功,使用docker image ls命令就可以看到新生成的 image 文件friendlyhello了,它位于你机器的本地Docker镜像注册表中。

docker image ls
REPOSITORY            TAG                 IMAGE ID
friendlyhello         latest              326387cea398

二. Datmo

如果你觉得上面描述的关于docker的操作依然十分麻烦的话,我还有一个工具推荐给你,那就是datmo。Datmo充分利用了Docker,简化了流程,帮助您快速轻松地运行AI框架。下面是使用流程:

1. 前提条件

  • 安装并启动Docker(https://docs.docker.com/install/#supported-platforms)

  • (如果使用GPU)安装CUDA 9.0(https://developer.nvidia.com/cuda-90-download-archive)

  • (如果使用GPU)安装nvidia-docker(https://github.com/datmo/datmo/wiki/Datmo-GPU-support-and-setup)

2. 安装datmo

就像任何python包一样,使用以下命令从终端安装datmo:

$ pip install datmo

3. 初始化datmo项目

在终端中,打开项目文件夹。然后,输入以下命令:

$ datmo init

然后,你将被要求提供项目的名称和描述。

4. 启动环境设置

在输入名称和描述后,datmo将询问是否要设置环境 - 输入y并按enter。

5. 选择系统驱动程序(CPU或GPU)

然后,CLI将询问希望为您的环境选择哪些系统驱动程序。如果不打算使用GPU,请选择cpu。

6. 选择一个环境

接下来,你将从众多预打包环境中选择一种。只需在提示中回复您要使用的环境的编号或ID。

7. 选择编程语言版本

上述许多环境都有不同的版本,具体取决于你计划使用的语言和版本。

例如,在选择keras-tensorflow环境后,我将面临以下提示,询问我是否要使用Python 2.7或Python 3.5。

8. 启动工作区

现在是时候启动你的工作区了。选择你要使用的工作区,然后在终端中输入相应的命令。

Jupyter Notebook - $ datmo notebook
JupyterLab - $ datmo jupyterlab
RStudio -  $ datmo rstudio(在R-base环境中可用)
终端模式 - $ datmo terminal

5分钟配置好你的AI开发环境的更多相关文章

  1. 配置hadoop-1.2.1 eclipse开发环境

    写这篇文章的目的是记录解决配置过程中的问题 首先我们先看下这篇博文 配置hadoop-1.2.1 eclipse开发环境 但是在[修改 Hadoop 源码]这里,作者发布的 hadoop-core-1 ...

  2. Windows10下配置Linux下C语言开发环境

    今天为大家介绍如在Windows10下配置Linux下C语言开发环境,首先安装linux子系统:启用开发者模式 1.打开设置 2.点击更新和安全3.点击开发者选项 4.启用开发人员模式 5.更改系统功 ...

  3. window7 下配置python2.7+tornado3.3开发环境

    玩python的人大都在linux下进行开发,由于长期习惯在windows下开发代码,今天蛋疼尝试在window7下配置python2.7+tornado3.3开发环境,必然的中间遇到各种报错,但是最 ...

  4. 配置基于Vim的Python开发环境

    配置基于Vim的Python开发环境插件 Vundle YouCompleteMe NERDTree Vim-Jinja2-Syntax set nocompatible " be iMpr ...

  5. Windows下,配置VS Code的Java开发环境

    Windows下,配置VS Code的Java开发环境 前言 最近痴迷于VS Code的开发环境配置,原因就在于它的轻巧和免费,还能当一个非常棒的文本编辑器.如果之前你配置过VS Code并且失败了, ...

  6. KafKa简介和利用docker配置kafka集群及开发环境

    KafKa的基本认识,写的很好的一篇博客:https://www.cnblogs.com/sujing/p/10960832.html 问题:1.kafka是什么?Kafka是一种高吞吐量的分布式发布 ...

  7. 教你10分钟内在Windows上完成Rails开发环境的安装和配置

    原文:http://www.cnblogs.com/tambor/archive/2011/12/25/rails_anzhuang_railsinstaller.html 一般来说,Windows开 ...

  8. 配置Windows下的PHP开发环境

    一.配置 Apache 开发环境: 二.配置 PHP 开发环境 配置 Apache 开发环境 0. 下载 Apache.由于官方只提供了源码包,我们要么自己编译要么使用别人提供的已经编译好的二进制包. ...

  9. 配置Java EE Eclipse+Tomcat开发环境

    以下将详细介绍在Eclipse下搭建Java EE开发环境的每一步, 环境:Win 7 + JDK 1.7 + Eclipse IDE for Java EE Developers 3.7 +Tomc ...

随机推荐

  1. Mysql5.7.25安装步骤

    安装步骤 在官网下载mysql-5.7.25-winx64.zip压缩包到本地,解压到非中文目录. 列如(D:\Program Files\mysql-5.7.25-winx64). 在环境变量中添加 ...

  2. python递归用法

    需求:4的阶乘 4*3*2*1计算.通过递归算法,c=4*getnums(4-1),然后调用自己本身的函数,形成递归,就等于3*getnums(3-1),2*getnums(2-1),依次递归调用,最 ...

  3. PHPRAP 1.0.2 发布,修复安装失败 Bug 和优化细节

    PHPRAP,是一个PHP轻量级开源API接口文档管理系统,致力于减少前后端沟通成本,提高团队协作开发效率,打造PHP版的RAP. 更新记录 [修复]修复在MySQL5.5版本下安装数据初始化sql文 ...

  4. 关于js拖放功能的实现

    这是具体的拖放代码的HTML,里面依赖两个组件:EventUtil.js是兼容浏览器添加方法的库,EventTarget.js是一个发布-订阅者模式的对象库. EventUtil.js: var Ev ...

  5. deepin15.11安装N卡驱动,实测!!!(可解决N卡电脑关机卡屏)

    前言:deepin(深度)是一款由武汉深之度公司研发的一款适合国人日常学习的linux系统,其UI精美,美过Mac.它对于中国用户的一个亮点就是QQ微信等国软件傻瓜式安装(类似安卓应用商店安装),如果 ...

  6. 第三篇:Linux的基本操作与文件管理(纯命令行模式下)(下)

    接上篇介绍完软件的管理(查询.删除.安装)之后,本篇将介绍Linux的文件和目录的管理. 如何浏览Linux的目录(文件夹),就像Windows一样,我们平时需要打开各个目录,去里面找一找曾经悄悄存储 ...

  7. 开放融合易用@门户移动开发新体验-逐浪CMS v8.0.1全面发布

    北京时间2019年8月30日消息: 领先的web内核研发厂商--上海Zoomla!逐浪CMS团队发布最新CMS版本:Zoomla!逐浪CMS v8.0.1,这是继上个版本v8.0后功能最具完强大与精彩 ...

  8. Mozilla的 Firefox Graphics 团队向社区寻求重现WebRender bug的方法

    导读 Mozilla 的 Firefox Graphics 团队正在向社区寻求帮助,由于他们收到了一些随机发生的 UI 错误报告,却一直无法找出错误的重现步骤(STR),因此现在向外寻求社区用户的帮助 ...

  9. 《JavaScript 模式》读书笔记(2)— 基本技巧2

    前一篇,简单介绍了一些js代码的基本技巧.那么这篇文章,我们继续后续的内容. 一.for循环 for循环经常用在遍历数组或者类数组对象,如引数(arguments)和HTML容器(HTMLCollti ...

  10. Map-->HashMap练习(新手)

    //导入的包.import java.util.*;//创建的一个类.public class zylx1 { //公共静态的主方法. public static void main(String[] ...