TensorFlow基础

SkySeraph 2017

更多精彩请直接访问SkySeraph个人站点：www.skyseraph.com

Overview

TensorFlow 最初由Google Brain团队开发， Google 2015年11月9日发布的开源的AI系统（Apache 2.0），前任(身)为DistBelief， 2017年2月11日发布1.0.0版，同时支持Linux、macOS和Windows以及移动平台，包括Android和iOS。
TensorFlow一般简写为TF。
Awesome AI~

AI/DL 库

如今，AI/DL相关库非常多，Deep Learning Libraries by Language 一文中以语言为分割汇聚了几十种DL库，更多相关资料可参考这个项目的聚合awesome-ai。
其中主流的几种比较如下。

相比于其它AI库，TF突出特点如下：

Runs not only Windows, Linux, and macOS， also on mobile devices（iOS and Android.）
provides a Python API TF.Learn（Python API called TF.Learn2） compatible with Scikit-Learn （previously Scikit Flow/skflow）
provides a API TF-slim (tensorflow.contrib.slim) for neural networks.
Several other high-level APIs such as Keras or Pretty Tensor.
includes highly efficient C++ implementations of many ML operations
a great visualization tool TensorBoard
launched a cloud service
A dedicated team, a growing community

Keys

Graph/Tensor

Graph，图。表示你所搭建的结构
Session，会话。表示你这次要运行程序
Tensor，张量表示数据
Variable，表示变量
Feed和Fetch，进行任意的操作赋值或者获取数据
Node，表示节点，表明数据在图中流动经过的点
Operation，表示节点的操作，通过operation来加工处理数据
Data Flow Graph(数据流图) TF用于定义计算结构的有向图，其节点表示运算（Operation(Op)），其边表示数据（data set（tensors））的输入和输出（Op 传入和从 Op 传出）

TF中的图描述了计算过程，图通过Session的运行而执行计算。Session将图的节点们(即ops)放置到计算设备(如CPUs和GPUs)上，然后通过方法执行它们；这些方法执行完成后，将返回tensors。在Python中的tensor的形式是numpy ndarray对象，而在C/C++中则是tensorflow::Tensor.
TF使用graph来表示计算任务/处理过程. 在被称之为Session的上下文 (context) 中执行图. 使用 tensor 表示数据. 通过Variable 维护状态. 使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据。

TF中使用Tensor来表示所有数据的数据结构，零阶张量为纯量或标量 (scalar) 也就是一个数值. 比如 [1] 一阶张量为向量 (vector), 比如一维的 [1, 2, 3] 二阶张量为矩阵 (matrix), 比如二维的 [[1, 2, 3],[4, 5, 6],[7, 8, 9]]。

TPU

TPU（ tensor processing unit）：张量处理器， Google为机器学习定制的专用芯片（ASIC），专为Google的深度学习框架TensorFlow而设计。
与图形处理器（GPU）相比，TPU采用低精度（8位）计算，以降低每步操作使用的晶体管数量。降低精度对于深度学习的准确度影响很小，但却可以大幅降低功耗、加快运算速度。同时，TPU使用了脉动阵列的设计，用来优化矩阵乘法与卷积运算，减少I/O操作。此外，TPU还采用了更大的片上内存，以此减少对DRAM的访问，从而更大程度地提升性能。

TensorBoard

Here~

GPU设置

GPU device
“/cpu:0”: 你机器的CPU；
“/gpu:0”: 你机器的第一个GPU；
“/gpu:1”: 你机器的第二个GPU；

指定GPU。
with tf.device(‘/cpu:1’):

a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')

......

资源分配。TF默认会使用当前所有GPU资源，控制资源可以采用动态申请或者限制GPU使用率。
- 动态申请：
  config = tf.ConfigProto()
  config.gpu_options.allow_growth = True
  session = tf.Session(config=config, …)
- 限制GPU使用率：
  config = tf.ConfigProto()
  config.gpu_options.per_process_gpu_memory_fraction = 0.4
  session = tf.Session(config=config, …)

References & Recommends

By SkySeraph-2017

SkySeraph cnBlogs

本文首发于skyseraph.com：“TensorFlow基础”