分布式Tensorflow

单机多卡（gpu）

多级多卡（分布式）

自实现分布式

API：

​ 1，创建一个tf.train.ClusterSpec，用于对集群的所有任务进行描述，该描述对于所有任务相同

​ 2，tf.train.Server 创建ps，worker 并运行相应的计算任务

  • ​ cluster=tf.train.ClusterSpec({"ps":ps_spec,"worker":worker_spec})

    ​ ps_spec = ["ps0.example.com:port","ps2.example.com:port"] 对应 /job:ps/task:0,1

    ​ worker_spec=["worker0.example.com:port",...] /job:worker/task:10

  • tf.train.Server(server_orcluster,job_name,task_index=None,protocol_None,config=None,start=True) 创建服务

    • server_or_cluster：集群描述
    • job_name:任务类型名称
    • task_index:任务数
    • attributes:target 返回tfSession连接到此服务器的目标
    • method：join() 参数服务器，直到服务器等待接收参数任务关闭

  • tf.device(device_name_or_function)

    • 选择指定设备或者设备函数
    • if device_name
      • 指定设备
      • 例如 “/job:worker/tsak:0/cpu:0
    • if function
      • tf.train.replica_device_setter(worker_device=worker_device,cluster=cluster)
      • 作用：通过此函数协调不同设备上的初始化操作
      • worker_device:为指定设备，“job/worker/task:0/cpu:0" or "/job:worker/task:0/gpu:0"
      • cluster:集群描述对象
    • 使用with tf.device() 使不同工作节点在不同设备上

深度学习_1_神经网络_4_分布式Tensorflow的更多相关文章

  1. 人工智能范畴及深度学习主流框架，谷歌 TensorFlow，IBM Watson认知计算领域IntelligentBehavior介绍

    人工智能范畴及深度学习主流框架,谷歌 TensorFlow,IBM Watson认知计算领域IntelligentBehavior介绍 ================================ ...

  2. 作为深度学习最强框架的TensorFlow如何进行时序预测！（转）

    作为深度学习最强框架的TensorFlow如何进行时序预测! BigQuant 2 个月前 摘要: 2017年深度学习框架关注度排名tensorflow以绝对的优势占领榜首,本文通过一个小例子介绍了T ...

  3. ArXiv最受欢迎开源深度学习框架榜单：TensorFlow第一，PyTorch第四

    [导读]Kears作者François Chollet刚刚在Twitter贴出最近三个月在arXiv提到的深度学习框架,TensorFlow不出意外排名第一,Keras排名第二.随后是Caffe.Py ...

  4. 对比深度学习十大框架：TensorFlow 并非最好？

    http://www.oschina.net/news/80593/deep-learning-frameworks-a-review-before-finishing-2016 TensorFlow ...

  5. 针对深度学习（神经网络）的AI框架调研

    针对深度学习(神经网络)的AI框架调研 在我们的AI安全引擎中未来会使用深度学习(神经网络),后续将引入AI芯片,因此重点看了下业界AI芯片厂商和对应芯片的AI框架,包括Intel(MKL CPU). ...

  6. Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1

    3.Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1 http://blog.csdn.net/sunbow0 ...

  7. Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.2

    3.Spark MLlib Deep Learning Convolution Neural Network(深度学习-卷积神经网络)3.2 http://blog.csdn.net/sunbow0 ...

  8. Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.3

    3.Spark MLlib Deep Learning Convolution Neural Network(深度学习-卷积神经网络)3.3 http://blog.csdn.net/sunbow0 ...

  9. Ubuntu16.04深度学习基本环境搭建，tensorflow , keras , pytorch , cuda

    Ubuntu16.04深度学习基本环境搭建,tensorflow , keras , pytorch , cuda Ubuntu16.04安装 参考https://blog.csdn.net/flyy ...

随机推荐

  1. python 中 dict 的另一种用法

    python 中 dic另一种用法 描述 Python 字典(Dictionary) get() 函数返回指定键的值,如果值不在字典中返回默认值. 语法 dict={} dict.get(k1,Non ...

  2. thymeleaf中double/float格式化,四舍五入显示两位小数

    private Float balance; 代码: <span class="A124_balance_num" th:text="${#numbers.form ...

  3. JBPM使用

    jbpm+mysql5.7 https://blog.csdn.net/tyn243222791/article/details/79033555

  4. EasyNetQ使用(九)【非泛型的发布&订阅扩展方法，发生错误的情况 】

    自从EasyNetQ第一个版本开始,它就可以发布/订阅特定类型的消息. bus.Subscribe<MyMessage>("subscriptionId", x =&g ...

  5. 【C# 开发技巧】番外篇故事-我是一个线程

    我是一个线程 我是一个线程,一出生就被编了一个号——0x3704,然后被领到一间昏暗的屋子里,在这里,我发现了很多和我一模一样的同伴.我身边的同伴0x6900待的时间比较长,他带着沧桑的口气对我说:“ ...

  6. 【馨儿收藏】群星《2019最新好听DJ舞曲精选》全系列【WAV/在线/百度】（持续更新）

    本人作为一名音乐发烧友,一直喜欢追求无损音乐,平时在开发编程无聊的时候,希望享受音乐的过程,追求完美,我这边整理了一系列的比较不错,新的好听的无损音乐,希望大家能够喜欢. [馨儿收藏]群星<20 ...

  7. Leetcode之148. Sort List Medium

    https://leetcode.com/problems/sort-list/ Sort a linked list in O(n log n) time using constant space ...

  8. 最新 乐游网络java校招面经 （含整理过的面试题大全）

    从6月到10月,经过4个月努力和坚持,自己有幸拿到了网易雷火.京东.去哪儿.乐游网络等10家互联网公司的校招Offer,因为某些自身原因最终选择了乐游网络.6.7月主要是做系统复习.项目复盘.Leet ...

  9. JSON文件转为Excel

    前言 今天在帮老师做年终党统的时候,发现管理平台上没有将正在发展的同志的信息导出功能,只能一个一个点击进去查看,操作起来步骤很多很麻烦,所以我就想到了"扒"一下这个网页,扒下来发现 ...

  10. Eclipse一些技巧

    1:测试某个测试溢出,修改堆内存大小 // 模拟内存溢出 -Xms10m -Xmx10m private static void mockOOM() { List list = new ArrayLi ...