TensorFire：WEB端的高性能神经网络框架

TensorFire：WEB端的高性能神经网络框架

摘要： 近日，一种专门用于在网页内执行神经网络算法的JavaScript库——TensorFire引起了人们的关注，这种JavaScript库在浏览器中使用GPU加速运行谷歌的TensorFlow，是机器学习走向大众化的一种方式。

TensorFire由麻省理工学院研究生团队开发，可以在任何GPU上运行TensorFlow-style的机器学习模型，不需要任何像Keras-js这样特定于GPU中间件的机器学习库。TensorFire是通过程序员已经接触过的一些软件或硬件来向广大用户提供学习。TensorFire通过准确预测模型的工作进展，可以得到部分所需资源。

浏览器中的机器学习

TensorFire使用WebGL标准，WebGL标准是用于在浏览器中加速渲染GPU图形的跨平台系统，支持GLSL。GLSL类似C语言，用于编写着色器，可以直接在GPU上转换数据的短程序。

着色器通常在WebGL传输渠道转换图形的呈现方式，比如渲染阴影或其他视觉效果。但是TensorFire使用着色器并行计算从TensorFlow模型生成预测的计算需求。另外，TensorFire还提供了一个用于导入现有TensorFlow和Keras模型的库。

使用这个框架，可以将经过训练的模型直接部署到web浏览器中，并在浏览器中进行本地预测。用户不需要下载、安装或编译任何东西，所有的工作都是直接在浏览器中完成，用于进行预测的数据也完全在客户端处理。GPU的品牌也没有限制，像AMD和NvidiaGPU都可以。

TensorFire基于网络的例子展示了一种style-transfer神经网络，style-transfer就是一件作品的风格可以映射到另一个图像。演示中最慢的部分是下载模型和编译着色器过程，而实际执行只需要一两秒钟。

TensorFire比其他解决方案更快。弹跳数据是GPU和CPU之间常见的性能瓶颈，为避免这种情况，TensorFire在GPU上保留尽可能多的数据。

TensorFire的优势

TensorFire最突出的优点是它的便携性和便利性。现代web浏览器在大多数操作系统和硬件平台上运行，甚至低端智能手机也有大量的GPU功耗。从机器学习模型中获得大部分有价值的工作都是建立机器学习流程，执行培训或交付预测。把这个过程的大部分工作都归结为“打开一个网页浏览器点击”，对某些类工作来说非常有用。

TensorFire的另一个优点是允许部署、预测完全在客户端完成。其实这对于已经部署到云计算的成熟模型和数据的优势并不大。但是对于部署模型很小的应用程序来说，非常有用。如果数据在客户端，用户上传资料会比较谨慎。

TensorFire的第三个优点是基于Nvidia和AMDGPU的高速增长，从理论上放宽显卡可用于机器学习品牌的限制。

从以往来看，Nvidia的CUDA标准一直是通过GPU加速机器学习的首选，提供比支持广泛的硬件OpenBS标准更多的性能。AMD针对OpenCL性能问题有自己的解决办法，但TensorFire让用户和程序员完全避开了这个问题。

TensorFire利用增长现象，使机器学习模型更加紧凑、高效，只具有轻微(通常不可检测)的精度损失。这种“低精度量化张量”方法意味着可以将更小的模型部署到客户端，并且可以使预测更迅速。TensorFire“量化精度低张量”方法允许软件在更广泛的GPU和浏览器上运行，特别是那些不支持全范围WebGL扩展的软件。

TensorFire将该库发布为有MIT许可证开源项目，所以在TensorFire中加速方法也可以应用于其他软件应用中，包括与TensorFlow或机器学习没有任何关系的应用。TensorFire中的低级别GLSLAPI也可以用于执行任意并行的通用计算，也就是说，其他支持GPU-powered、浏览器以及客户端计算的框架都可以在上面构建。