使用Colaboratory的免费GPU训练神经网络

1 Colaboratory 介绍

Colaboratory 是一个 Google 研究项目，旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境，不需要进行任何设置就可以使用，并且完全在云端运行。

2 搭建 Colaboratory

打开谷歌，使用邮箱登陆你的 Google 账号。（没有帐号的使用邮箱注册一个就行）

进入 Google 云端硬盘之后，需要关联 Colaboratory。点击我的云端硬盘 -> 更多 -> 关联更多应用。然后，搜索并找到 Colaboratory，然后关联。（我已经关联了 Colaboratory，所以展示的已经存在Colaboratory）

3 使用 Colaboratory

3.1 准备

关联 Colaboratory 之后，新建文件夹（以 app 为例）。

进入 app 文件夹，空白处右键点击更多 -> Colaboratory，即可创建 Jupyter Notebook。

通过点击文件名实现重命名，例如重命名为 test.ipynb。

配置 Colaboratory，这一步非常重要也是非常强大的。点击修改 -> 笔记本设置。

选择使用 Python 2 还是 Python 3。更重要的，可以选择使用 GPU 硬件加速。设置完毕后点击保存。

查看GPU是否在colab中

import tensorflow as tf

tf.test.gpu_device_name()

如果结果为空，则不能使用GPU；如果结果为/device:GPU:0，则可以使用GPU。

查看显卡内存使用上限

from tensorflow.python.client import device_lib

device_lib.list_local_devices()

3.2 运行基本代码

3.3 运行.py文件

先运行下面这些代码，来安装必要的库、执行授权。

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools

!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null

!apt-get update -qq 2>&1 > /dev/null

!apt-get -y install -qq google-drive-ocamlfuse fuse

from google.colab import auth

auth.authenticate_user()

from oauth2client.client import GoogleCredentials

creds = GoogleCredentials.get_application_default()

import getpass

!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL

vcode = getpass.getpass()

!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

运行的时候应该会看到下图所示的结果,看见那个链接之后，点击它，复制验证码并粘贴到文本框里。

授权完成后，就可以挂载Google Drive了!

!mkdir -p drive

!google-drive-ocamlfuse drive

注：这个时候输入!ls可能看不到根目录drive，找不到drive就找不到我们云盘的文件！解决办法是，键入下边的代码：

from google.colab import drive

drive.mount('/content/drive/')

点击出现的链接，在链接中复制验证码，在链接下方输入验证，显示Mounted at /content/drive/即为成功。

将想要执行的mnist_cnn.py文件上传到位于Google云端硬盘上的app文件夹。然后使用cd切换到app文件夹下，键入如下命令。

!python3 mnist_cnn.py

对于将代码或者数据集文件传到google云盘上，建议安装Google备份与同步软件！

4 补充

安装Keras：

!pip install -q keras

import keras

安装PyTorch：

!pip install -q http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl torchvision

import torch

安装OpenCV：

!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python

import cv2

安装其他库：

用!pip install或者!apt-get install命令。