转载自 http://weibo.com/p/1001603980563068394770   @ICT_吴林阳 tensorflow设备内存管理模块实现了一个best-fit with coalescing算法(后文简称bfc算法).bfc算法是Doung Lea’s malloc(dlmalloc)的一个非常简单的版本.它具有内存分配.释放.碎片管理等基本功能. 关于dlmalloc算法,参考下面链接: http://gee.cs.oswego.edu/ Bfc算法思想: 将内存分成一系列内

TF Prepare [图解tensorflow源码] 入门准备工作 [图解tensorflow源码] TF系统概述篇 Session篇 [图解tensorflow源码] Session::Run()流程图 (单机版) [图解tensorflow源码] Session::Run() 分布式版本 Graph 篇 [图解tensorflow源码] Graph 图模块 (UML视图) [图解tensorflow源码] Graph 图模块 —— Graph Loading [图解tensorflow源码

前言: 一般来说,如果安装tensorflow主要目的是为了调试些小程序的话,只要下载相应的包,然后,直接使用pip install tensorflow即可. 但有时我们需要将Tensorflow的功能移植到其它平台,这时就无法直接安装了.需要我们下载相应的Tensorflow源码,自已动手编译了. 正文: Tensorflow功能代码庞大,结构复杂:如何快速了解源码结构,就显示尤为重要了. Tensorflow主体结构: 整个框架以C API为界,分为前端和后端两大部分. 前端:提供编译模型

1 主流深度学习框架对比 当今的软件开发基本都是分层化和模块化的,应用层开发会基于框架层.比如开发Linux Driver会基于Linux kernel,开发Android app会基于Android Framework.深度学习也不例外,框架层为上层模型开发提供了强大的多语言接口.稳定的运行时.高效的算子,以及完备的通信层和设备层管理层.因此,各大公司早早的就开始了深度学习框架的研发,以便能占领市场.当前的框架有数十种之多,主流的如下(截止到2018年11月) 显然TensorFlow是独一无

Ubuntu TensorFlow 源码 Android Demo的编译运行 一. 安装 Android 的SDK和NDK SDK 配置 A:下载 国内下载地址选最新的: SDK: https://developer.android.google.cn/studio/index.html 也可以下载一个旧的再update NDK: https://developer.android.google.cn/ndk/downloads/index.html B:解压 配置环境变量 sudo tar -

  编译TensorFlow源码 参考: https://www.tensorflow.org/install/install_sources https://github.com/tensorflow/tensorflow/blob/master/tensorflow/go/README.md 一 环境 ubuntu 16.04.2   (virtualbox 虚拟机) 二  安装 bazel 参考:https://docs.bazel.build/versions/master/instal

前言 TensorFlow如果能二进制包安装,我真的不想选择自己编译,但是情况不由人,好不容易找到一台服务器,CPU不支持AVX指令集,安装的release版本运行到import tensorflow as tf 就会报指令异常.网上建议源码安装才能解决,于是无奈,想着应该是非常繁琐的事情,但事实上除了耗时外,其他都还好,这里记录一下,以备后用. 编译安装过程 安装版本构建工具 bazel bazel是google的版本构建工具,网上褒贬不一,直接下载安装包进行安装: wget https://

0. 引言 通过源码方式安装,并进行一定程度的解读,有助于理解tensorflow源码,本文主要基于tensorflow v1.8源码,并借鉴于如何阅读TensorFlow源码. 首先,自然是需要去bazel官网了解下必备知识,如(1)什么是bazel; (2)bazel如何对cpp项目进行构建的; (3)bazel构建时候的函数大全.然后就是bazel官网的一些其他更细节部分了.下文中会给出超链接. ps: 找了很久,基本可以确定bazel除了官网是没有如书籍等资料出现的,所以只有官网和别人博

[图解tensorflow源码] 入门准备工作 附常用的矩阵计算工具[转] Link: https://www.cnblogs.com/yao62995/p/5773142.html  tensorflow使用了自动化构建工具bazel.脚本语言调用c或cpp的包裹工具swig.使用EIGEN作为矩阵处理工具.Nvidia-cuBLAS GPU加速计算库.结构化数据存储格式protobuf Swig       1. Simplified Wrapper and Interface Genera

一.为什么我们需要使用线程池技术(ThreadPool) 线程:采用“即时创建,即时销毁”策略,即接受请求后,创建一个新的线程,执行任务,完毕后,线程退出: 线程池:应用软件启动后,立即创建一定数量的线程,放入空闲队列: 优缺点分析:使用线程处理多请求,低任务量问题时,不断创建.销毁线程,开销巨大:使用线程池能够减少创建销毁的开销: 二.C++11中使用unordered_map代替hash_map,另外增加了unique_ptr智能指针:(override GUARDED_BY等) 三.SWI

作者  cnblog 修雨轩陈 我是按照 Tensorflow 下 https://github.com/tensorflow/tensorflow/blob/master/tensorflow/g3doc/get_started/os_setup.md#configure-the-installation 教程安装的, 通过源码安装之后出现以下问题: tensorboard 无法识别, 但是tensorflow API  却可以使用. 于是只能: python <tensorflow源码所在的

最近学习Tensorflow,记录一下安装过程.目前安装的是CPU版的 1.下载tensorflow源码 tensorflow是个开源库,在github上有源码,直接在上面下载.下载地址:https://github.com/tensorflow/tensorflow 2.安装python的一些依赖库 tensorflow支持C.C++和Python三种语言,但是它对Python的支持是最全面的,所以我们这里使用Python.Python的安装这里就赘述了.我这里安装的是python3,就以py

目录 tensorflow-build table 更多详细过程信息及下载: tensorflow-build tensorflow 源码编译,提升硬件加速,支持cpu加速指令,suport SSE4.1.SSE4.2.AVX.AVX2.FMA,ver:1.1.0rc1.1.4.0rc1.1.14.0-rc1.2.0.0b1 最近使用过程中发现老是报avx指令问题,于是编译了几个重要的版本,欢迎测试,平台是mbp 2017 另外2.0应该是全网比较少了,欢迎下载测试,编译时间太长了,差不多12h

文章索引 framework解析 resource allocator tensor op node kernel graph device function shape_inference 拾遗 common_runtime解析 device session graph_optimizer executor-1 executor-2 direct_session 后记 关于起源 阅读tensorflow源码时,为了敦促自己主动思考,把阅读的笔记整理成了博客,拿出来跟大家分享. 关于迭代 文章都

目录 核心概念 executor.h Executor NewLocalExecutor ExecutorBarrier executor.cc structs GraphView ExecutorImpl ExecutorState details 1. 核心概念 执行器是TF的核心中的核心了,前面做了这么多的准备工作,最后要在这里集大成了,想想还有点小激动.不过笔者在这里先打个预防针,执行器的概念多.结构复杂,想要透彻理解并不容易,为了保持文章的易读性,我们也是尽量对细枝末节做了舍弃,以求反

BasicLSTMCell 是最简单的LSTMCell,源码位于:/tensorflow/contrib/rnn/python/ops/core_rnn_cell_impl.py.BasicLSTMCell 继承了RNNCell,源码位于:/tensorflow/python/ops/rnn_cell_impl.py 注意事项:1. input_size 这个参数不能使用,使用的是num_units 2. state_is_tuple 官方建议设置为True.此时,输入和输出的states为c(

把framework中剩余的内容,按照文件名进行了简单解析.时间原因写的很仓促,算是占个坑,后面有了新的理解再来补充. allocation_description.proto 一个对单次内存分配结果进行信息描述的proto. attr_value 之前在讲op的时候提到过,操作是有参数的.而AttrValue表示的就是参数的值.先看一下它的proto定义: message AttrValue { message ListValue { repeated bytes s = 2; repeate

目录 核心概念 executor.h Executor NewLocalExecutor ExecutorBarrier executor.cc structs GraphView ExecutorImpl ExecutorState details 3.4 ExecutorState 在执行器的执行图计算的时候,需要一个结构来保存当前计算的即时信息,TF为此设计了类ExecutorState,它被用来保存每一个对ExecutorImpl::Run调用的状态信息.它会在一个节点已经准备好之后调度

目录 什么是allocator 内存分配器的管理 内存分配追踪 其它结构 关系图 涉及的文件 迭代记录 1. 什么是allocator Allocator是所有内存分配器的基类,它定义了内存分配器需要实现的接口. class Allocator { public: //内存分配与返还 virtual void* AllocateRaw(size_t alignment, size_t num_bytes) = 0; virtual void DeallocateRaw(void* ptr) =

这几天终于把tensorflow安装上了,中间遇到过不少的问题,这里记录下来.供大家想源码安装的参考. 安装环境:POWER8处理器,Docker容器Ubuntu14.04镜像. Build Tensorflow for IBM POWER8 CPU from Source Code 1. My os environment 14.04.1-Ubuntu SMP ppc64le gcc 4.8.4 python 2.7.6 2. Install bazel and protobuf I only

这几天终于把tensorflow安装上了,中间遇到过不少的问题,这里记录下来.供大家想源码安装的参考. 安装环境:POWER8处理器,Docker容器Ubuntu14.04镜像. Build Bazel<v0.1.0> for IBM POWER8 CPU from Source Code My computer's os is ubuntu 14.04 , and I want to install bazel, There is only java7 available, so I cho