char-rnn-tensorflow源码解析及结构流程分析

char-rnn-tensorflow由飞飞弟子karpathy编写,展示了如何用tensorflow来搭建一个基本的RNN(LSTM)网络,并进行基于char的seq2seq进行训练. 数据读取部分 data文件夹下的input.txt为示例用的莎翁剧本,在数据读取阶段的preprocess函数中,将基于该文本文件生产词汇表文件vocal.pkl(记录词的索引)和data.npy(将训练用的文字转换成索引的文件). 其中,self.vocab就是组织的字典文件,给出任意char能查询到它的in…

Flink 源码解析 —— 项目结构一览

Flink 源码项目结构一览 https://t.zsxq.com/MNfAYne 博客 1.Flink 从0到1学习 -- Apache Flink 介绍 2.Flink 从0到1学习 -- Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3.Flink 从0到1学习 -- Flink 配置文件详解 4.Flink 从0到1学习 -- Data Source 介绍 5.Flink 从0到1学习 -- 如何自定义 Data Source ? 6.Flink 从0到1学习 --…

Sentinel源码解析一（流程总览）

引言 Sentinel作为ali开源的一款轻量级流控框架,主要以流量为切入点,从流量控制.熔断降级.系统负载保护等多个维度来帮助用户保护服务的稳定性.相比于Hystrix,Sentinel的设计更加简单,在 Sentinel中资源定义和规则配置是分离的,也就是说用户可以先通过Sentinel API给对应的业务逻辑定义资源(埋点),然后在需要的时候再配置规则,通过这种组合方式,极大的增加了Sentinel流控的灵活性. 引入Sentinel带来的性能损耗非常小.只有在业务单机量级超过25W QP…

Tensorflow源码解析1 -- 内核架构和源码结构

1 主流深度学习框架对比当今的软件开发基本都是分层化和模块化的,应用层开发会基于框架层.比如开发Linux Driver会基于Linux kernel,开发Android app会基于Android Framework.深度学习也不例外,框架层为上层模型开发提供了强大的多语言接口.稳定的运行时.高效的算子,以及完备的通信层和设备层管理层.因此,各大公司早早的就开始了深度学习框架的研发,以便能占领市场.当前的框架有数十种之多,主流的如下(截止到2018年11月) 显然TensorFlow是独一无…

tensorflow源码解析系列文章索引

文章索引 framework解析 resource allocator tensor op node kernel graph device function shape_inference 拾遗 common_runtime解析 device session graph_optimizer executor-1 executor-2 direct_session 后记关于起源阅读tensorflow源码时,为了敦促自己主动思考,把阅读的笔记整理成了博客,拿出来跟大家分享. 关于迭代文章都…

顺序线性表 ---- ArrayList 源码解析及实现原理分析

原创播客,如需转载请注明出处.原文地址:http://www.cnblogs.com/crawl/p/7738888.html ---------------------------------------------------------------------------------------------------------------------------------------------------------- 笔记中提供了大量的代码示例,需要说明的是,大部分代码示例都是本…

Thinkphp6源码分析之解析,Thinkphp6路由,Thinkphp6路由源码解析,Thinkphp6请求流程解析,Thinkphp6源码

Thinkphp6源码解析之分析路由篇-请求流程 0x00 前言: 第一次写这么长的博客,所以可能排版啊,分析啊,什么的可能会比较乱.但是我大致的流程已经觉得是说的够清楚了.几乎是每行源码上都有注释.关于请求流程大概是: 入口文件先实例化容器,然后再通过容器去获取到Http对象 (Web管理类),然后执行Http对象中的run方法. 方法内会创建一个Request对象,然后将对象绑定到容器内.然后再到runWithRequest方法,执行应用程序 runWithRequest方法内会初始化当前…

tensorflow源码解析之framework拾遗

把framework中剩余的内容,按照文件名进行了简单解析.时间原因写的很仓促,算是占个坑,后面有了新的理解再来补充. allocation_description.proto 一个对单次内存分配结果进行信息描述的proto. attr_value 之前在讲op的时候提到过,操作是有参数的.而AttrValue表示的就是参数的值.先看一下它的proto定义: message AttrValue { message ListValue { repeated bytes s = 2; repeate…

tensorflow源码解析之common_runtime-executor-上

目录核心概念 executor.h Executor NewLocalExecutor ExecutorBarrier executor.cc structs GraphView ExecutorImpl ExecutorState details 1. 核心概念执行器是TF的核心中的核心了,前面做了这么多的准备工作,最后要在这里集大成了,想想还有点小激动.不过笔者在这里先打个预防针,执行器的概念多.结构复杂,想要透彻理解并不容易,为了保持文章的易读性,我们也是尽量对细枝末节做了舍弃,以求反…

tensorflow源码解析之framework-allocator

目录什么是allocator 内存分配器的管理内存分配追踪其它结构关系图涉及的文件迭代记录 1. 什么是allocator Allocator是所有内存分配器的基类,它定义了内存分配器需要实现的接口. class Allocator { public: //内存分配与返还 virtual void* AllocateRaw(size_t alignment, size_t num_bytes) = 0; virtual void DeallocateRaw(void* ptr) =…

tensorflow源码解析之common_runtime-executor-下

目录核心概念 executor.h Executor NewLocalExecutor ExecutorBarrier executor.cc structs GraphView ExecutorImpl ExecutorState details 3.4 ExecutorState 在执行器的执行图计算的时候,需要一个结构来保存当前计算的即时信息,TF为此设计了类ExecutorState,它被用来保存每一个对ExecutorImpl::Run调用的状态信息.它会在一个节点已经准备好之后调度…

wordpress源码解析-目录结构-文件调用关系（1）

学习开源代码,是一种很快的提升自己的学习方法.Wordpress作为一个开源的博客系统,非常优秀,应用广泛,使用起来简单方便,具有丰富的主题和插件,可以按照自己的需求来任意的进行修改.所以就从wordpress的源码开始自己的php学习之路,希望自己能坚持下去! Wordpress版本:3.1.2 平台:新浪sae平台.monk.sinaapp.com Wordpress是一个单入口的文件,所有的前端处理都必须经过index.php,这是通过修改web服务器的rewrite规则来实现的.这种做法…

Ceph源码解析：读写流程

转载注明出处,整理也是需要功夫的,http://www.cnblogs.com/chenxianpao/p/5572859.html 一.OSD模块简介 1.1 消息封装:在OSD上发送和接收信息. cluster_messenger -与其它OSDs和monitors沟通 client_messenger -与客户端沟通 1.2 消息调度: Dispatcher类,主要负责消息分类 1.3 工作队列: 1.3.1 OpWQ: 处理ops(从客户端)和sub ops(从其他的OSD).运行在op…

【原创】angularjs1.3.0源码解析之执行流程

Angular执行流程前言发现最近angularjs在我厂的应用变得很广泛,下周刚好也有个angular项目要着手开始做,所以先做了下功课,从源代码开始入手会更深刻点,可能讲的没那么细,侧重点在于整个执行流程,之后会对angularjs的各个模块再解析下. 目录结构从angularFiles.js中就可以看到angular.js是如何打包的? 'angularSrc': [ 'src/minErr.js', 'src/Angular.js', 'src/loader.js', 'src/A…

Vue.js源码解析-Vue初始化流程

目录前言 1. 初始化流程概述图.代码流程图 1.1 初始化流程概述 1.2 初始化代码执行流程图 2. 初始化相关代码分析 2.1 initGlobalAPI(Vue) 初始化Vue的全局静态API 2.2 定义Vue构造函数.实例方法 2.3 new Vue(options) 2.4 执行 $mount 进行挂载 2.5 执行 _render 生成 vnode 2.5 执行update将vnode转化为真实DOM 3. 代码调试 demo示例 debug:找到断点入口 debug:添加实例…

Flume-ng源码解析之启动流程

今天我们通过阅读Flume-NG的源码来看看Flume的整个启动流程,废话不多说,翠花,上源码!! 1 主类也是启动类在这里我贴出Application中跟启动有关的方法,其他你们可以自己看源码,毕竟源码解析解的是思路. org.apache.flume.node.Application /*主函数*/ public static void main(String[] args) { try { boolean isZkConfigured = false; Options options =…

SpringMVC源码解析-DispatcherServlet启动流程和初始化

在使用springmvc框架,会在web.xml文件配置一个DispatcherServlet,这正是web容器开始初始化,同时会在建立自己的上下文来持有SpringMVC的bean对象. 先从DispatcherServlet入手,从名字来看,它是一个Servlet.它的定义如下: public class DispatcherServlet extends FrameworkServlet { 它是继承FrameworkServlet,来看一下整个的继承关系. 从继承关系来看,Dispatc…

Mybatis源码学习第六天(核心流程分析)之Executor分析

今Executor这个类,Mybatis虽然表面是SqlSession做的增删改查,其实底层统一调用的是Executor这个接口在这里贴一下Mybatis查询体系结构图 Executor组件分析 Executor是Mybatis的核心组件之一,定义了数据库操作最基本的方法,SqlSession的功能都是基于它实现的; 在分析这个之前先来说一下大家不用想也知道设计模式白,之前都是这么开始讲的,没错在这里我说一下模板模式模板模式:一个抽象类公开定义了执行他方法的方式/模板,他的子类可以按需要…

tensorflow源码解析之framework-op

目录什么是op op_def定义 op注册 op构建与注册辅助结构 op重写关系图涉及的文件迭代记录 1. 什么是op op和kernel是TF框架中最重要的两个概念,如果一定要做一个类比的话,可以认为op相当于函数声明,kernel相当于函数实现.举个例子,对于矩阵相乘,我可以声明一个op叫做MatMul,指明它的名称,输入,输出,参数,以及对参数的限制等.op只是告诉我们,这个操作的目的是什么,操作内部有哪些可定制的东西,但不会提供具体实现.操作在某种设备上的具体实现方法,是由ker…

tensorflow源码解析之distributed_runtime

本篇主要介绍TF的分布式运行时的基本概念.为了对TF的分布式运行机制有一个大致的了解,我们先结合/tensorflow/core/protobuf中的文件给出对TF分布式集群的初步理解,然后介绍/tensorflow/core/distributed_runtime路径下的核心概念. TF分布式集群集群定义和理解在研读TF的分布式运行时代码之前,我们需要先看下TF分布式运行的基本架构.TF的集群(cluster)由作业(job)构成,作业由任务(task)构成.举个例子,一个由两个作业构成的…

tensorflow源码解析之common_runtime拾遗

把common_runtime中剩余的内容,按照文件名排序进行了简单的解析,时间原因写的很仓促,算是占个坑,后续有了新的理解再来补充. allocator_retry 有时候内存分配不可能一次完成,为了在内存分配失败时能够不断尝试,TF给出了一个在内存分配多次尝试的接口: class AllocatorRetry { public: AllocatorRetry(); void* AllocateRaw(std::function<void*(size_t alignment, size_t n…

Tensorflow源码解析2 -- 前后端连接的桥梁 - Session

Session概述 1. Session是TensorFlow前后端连接的桥梁.用户利用session使得client能够与master的执行引擎建立连接,并通过session.run()来触发一次计算.它建立了一套上下文环境,封装了operation计算以及tensor求值的环境. 2. session创建时,系统会分配一些资源,比如graph引用.要连接的计算引擎的名称等.故计算完毕后,需要使用session.close()关闭session,避免引起内存泄漏,特别是graph无法释放的问题…