阅读笔记: 仅希望对底层有一定必要的感性认识,包括一些基本核心概念. Here只关注Graph相关,因为对编程有益. TF – Kernels模块部分参见:https://mp.weixin.qq.com/s/vwSlxxD5Ov0XwQCKy1oyuQ TF – Session部分,也可以在起专题总结:https://mp.weixin.qq.com/s/Bi6Rg-fEwyN4uIyRHDPhXg Tensorflow Download: https://github.com/tensorf…

TensorBoard是TensorFlow 的可视化工具.主要为了更方便用户理解 TensorFlow 程序.调试与优化,用户可以用 TensorBoard 来展现 TensorFlow 图像,绘制图像生成的定量指标图以及附加数据. TensorBoard 通过读取 TensorFlow 的事件文件来运行.TensorFlow 的事件文件包括了在 TensorFlow 运行中涉及到的主要数据,在运行计算图后,tensorflow会在当前文件夹下,生成一个log文件夹,所有的事件文件都会放在文件…

前言 在上一篇中,我简单介绍了一下Tensorflow以及在本机及阿里云的PAI平台上跑通第一个示例的步骤.在本篇中我将稍微讲解一下几个基本概念以及Tensorflow的基础语法. 本文代码都是基于API版本r1.4.本文中本地开发环境为Pycharm,在文中不再赘述. 名词解释 核心概念 和很多开发语言设计一样,Tensorflow提供了多个级别的客户端API,其中最底层叫Tensorflow Core,使用这一层API可以完全控制Tensorflow,但是使用难度上也相对较大.在Tensor…

Tensorboard tensorboard用以图形化展示我们的代码结构和图形化训练误差等,辅助优化程序 tensorboard实际上是tensorflow机器学习框架下的一个工具,需要先安装tensorflow,参考: https://www.cnblogs.com/maskerk/p/9973503.html 的安装过程. 本文tensorboard功能参考链接:www.cnblogs.com/fydeblog/p/7429344.html 微代码测试 代码全文 import tensor…

前面的文章已经介绍了一个回归和一个分类的例子.在逻辑回归模型中我们假设: 在分类问题中我们假设: 他们都是广义线性模型中的一个例子,在理解广义线性模型之前需要先理解指数分布族. 指数分布族(The Exponential Family) 如果一个分布可以用如下公式表达,那么这个分布就属于指数分布族: 公式中y是随机变量:h(x)称为基础度量值(base measure): η称为分布的自然参数(natural parameter),也称为标准参数(canonical parameter): T(…

我们前面介绍的一般线性模型.Logistic回归模型.对数线性模型.Poisson回归模型等,实际上均属于广义线性模型的范畴,广义 线性模型包含的范围非常广泛,原因在于其对于因变量.因变量的概率分布等条件的限制放宽,使其应用范围加大. 广义线性模型由以下几个部分组成 1.因变量广义线性模型的因变量还是要去独立性,但是分布不再局限于正态分布一种,而是可以是指数族概率分布的任意一种,其方差也可 以不稳定,但必须要能表达为依赖均值的函数 2.线性部分广义线性模型因变量与自变量必须为线性关系,即因变量与…

我们之前讲Logistic回归模型的时候说过,分类数据在使用卡方检验的时候,当分类过多或者每个类别的水平数过多时,单元格会划分的非常细,有可能会导致大量单元格频数很小甚至为0,并且卡方检验虽然可以分析因素作用,但是无法描述作用的大小和方向,并且无法进一步考察因素间的交互作用,这些都是卡方检验的局限,实际上卡方检验更多的用于行列交叉表,也就是列联表的分析. 以上问题似乎可以使用方差分析解决,但是方差分析仅适用于连续变量,对于分类变量除了可以使用Logistic回归之外,还可以使用对数线性模型,对数…

TensorBoard简介 Tensorflow发布包中提供了TensorBoard,用于展示Tensorflow任务在计算过程中的Graph.定量指标图以及附加数据.大致的效果如下所示, TensorBoard工作机制 TensorBoard 通过读取 TensorFlow 的事件文件来运行.TensorFlow 的事件文件包括了你会在 TensorFlow 运行中涉及到的主要数据.关于TensorBoard的详细介绍请参考TensorBoard:可视化学习.下面做个简单介绍. Tensorf…

(一)牛顿法解最大似然估计 牛顿方法(Newton's Method)与梯度下降(Gradient Descent)方法的功能一样,都是对解空间进行搜索的方法.其基本思想如下: 对于一个函数f(x),如果我们要求函数值为0时的x,如图所示: 我们先随机选一个点,然后求出该点的切线,即导数,延长它使之与x轴相交,以相交时的x的值作为下一次迭代的值. 更新规则为: 那么如何将牛顿方法应用到机器学习问题求解中呢? 对于机器学习问题,我们优化的目标函数为极大似然估计L,当极大似然估计函数取得最大时,其导…

之前介绍过的基于线性模型的方差分析,虽然扩展了方差分析的领域,但是并没有突破方差分析三个原有的假设条件,即正态性.方差齐性和独立性,这其中独立性要求较严格,我们知道方差分析的基本思想其实就是细分,将所有对因变量产生影响的因素逐一摘出,但是如果各观测值之间相互影响,这样在细分影响因素的时候,是很难分出到底是自变量的影响还是观测值之间自己的影响.虽然随机抽样会最大程度的使数据满足独立性,但是有时候这种方法并不奏效,比如随机抽取受访者分析其消费特征,这里就假定所有受访者的之间是相互独立的,然而仔细想想…

本系列文章允许转载,转载请保留全文! [请先阅读][说明&总目录]http://www.cnblogs.com/tbcaaa8/p/4415055.html 1. 指数分布族简介 之前的文章分别介绍了因变量服从高斯分布.伯努利分布.泊松分布.多项分布时,与之对应的回归模型,本文章将阐释这些模型的共同点,并加以推广. 首先非正式地给出指数分布族的定义: 定义 如果变量y的分布可以被表示为p(y;η)=b(y)exp(ηTT(y)-a(η))的形式(η为分布的参数),则称y服从指数分布族 萌萌哒博主…

Logistic Regression 同 Liner Regression 均属于广义线性模型,Liner Regression 假设 $y|x ; \theta$ 服从 Gaussian 分布,而 Logistic Regression 假设 $y|x ; \theta$ 服从 Bernoulli 分布. 这里来看线性回归,给定数据集 $\left \{ (x_i,y_i) \right \}_{i=1}^N$ ,$x_i$ 与 $y_i$ 的关系可以写成 $y_i = \theta^Tx_…

此笔记源于台湾大学林轩田老师<机器学习基石><机器学习技法> 我们已经学习过PLA算法,所谓的线性模型就是:计算核心为.PLA是一种分类方法,这里介绍线性回归方法(与概率与统计中的线性回归相同). 令,则有: 我们需要最小化Ein. 通过上式,可以看出Ein是continuous,differentiabl,convex函数,所以想让Ein最小,只需要让Ein的梯度(微分)等于0即可. 总结一下Linear Regression算法: 这里我们可以通过概率知识,求得Ein的大小:…

转载请注明作者:梦里风林 Github工程地址:https://github.com/ahangchen/GDLnotes 欢迎star,有问题可以到Issue区讨论 官方教程: https://www.tensorflow.org/versions/master/how_tos/graph_viz/index.html TensorFlow自带的一个强大的可视化工具 功能 这是TensorFlow在MNIST实验数据上得到Tensorboard结果 Event: 展示训练过程中的统计数据(最值…

课程简要: 主要内容包括线性分类和回归分析简单的回忆.除了Logistic回归分析,具体解说误差测量和算法三方面,同时归纳法的非线性变换的分析. 课程大纲: 1.Review 2.Nonlinear Transform 3.The Model about Logistic regression 4.Error Measure about Logistic regression 5.Learning Algorithm about Logistic regression 6.Summarize 1…

为了更方便的理解.调试和优化TF程序,我们可以使用TensorBoard(可视化工具).可以使用TensorBoard查看graph,绘制图表执行过程中的定量指标.TensorBoard是完全可配置的. 1 序列化数据(Serializing the data)到磁盘 TensorBoard通过读取TF事件文件进行操作,该文件包含了在TF运行过程中产生的摘要数据(summary data) 首先创建从中要收集摘要数据的TF图,并决定图中的哪些点(nodes)需要summary operation…

1.什么是Tensorboard? PPT设计原则中有这样一条,叫"文不如表,表不如图",可见图表在表达中更为直观.明确.程序设计中也是一样,我们经常用图表来描述程序的结构和流程,本文所述的Tensorboard就是Tensorflow提供的一款强大的可视化工具,可以借助图表更方便地进行Tensorflow程序的理解.调试和优化. 左面的数据流图cool吗?它是Tensorflow官网上给出的demo,下面,本文就结合一个具体的例子,介绍下Tensorboard的基本使用. 2. 如何…

本文简单整理了以下内容: (一)线性回归 (二)二分类:二项Logistic回归 (三)多分类:Softmax回归 (四)广义线性模型 闲话:二项Logistic回归是我去年入门机器学习时学的第一个模型(忘记了为什么看完<统计学习方法>第一章之后直接就跳去了第六章,好像是对"逻辑斯蒂"这个名字很感兴趣?...),对照<机器学习实战>写了几行代码敲了一个toy版本,当时觉得还是挺有意思的.我觉得这个模型很适合用来入门(但是必须注意这个模型有很多很多很多很多可以展开…

tensorflow笔记(三)之 tensorboard的使用 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7429344.html 前言 这篇博客将介绍tensorflow当中一个非常有用的可视化工具tensorboard的使用,它将对我们分析训练效果,理解训练框架和优化算法有很大的帮助. 还记得我的第一篇tensorflow博客上的的例子吗?这篇博客会以第一篇tensorflow博客的tensorboard图为例进行展…

为了更方便 TensorFlow 程序的理解.调试与优化,TensorFlow发布了一套叫做 TensorBoard 的可视化工具.你可以用 TensorBoard 来展现你的 TensorFlow 图像,绘制图像生成的定量指标图以及附加数据. TensorBoard工具通过读取TensorFlow产生的事件(events)文件来进行图像绘制,其中这个事件文件是在运行TensorFlow时产生的summary数据.简单地说,可以将TensorBoard的使用分为两步:数据序列化和启动Tensor…

关于TensorBoard的安装是在安装Tensorflow的过程中就已经默认安装好了,所以安装了Tensorflow就不需要再安装TensorBoard,直接使用就可以了. 具体的使用方法: 命令行中输入    tensorboard   --logdir = PATH 这里的PATH是你的log的地址,在我的linux系统下地址为/tmp/tensorflow/mnist/summaririze,然后运行就可以了.然后打开浏览器,输入:http://localhost:6006 就可以看到t…

首先介绍几个用法: with tf.name_scope(name = "inputs"): 这个是用于区分区域的.如,train,inputs等. xs = tf.placeholder(tf.float32,[None,1],name = "x_input") name用于对节点的命名. merged = tf.summary.merge_all() 注:这里很多代码可能跟莫烦老师的代码并不一样,主要是由于版本变迁,tensorflow很多函数改变. 这一步很重…

TensorBoard 使用和问题解决 一.启动TensorBoard 1) python tensorflow/tensorboard/tensorboard.py --logdir=path/to/log-directory logdir 指向 SummaryWriter 序列化数据的存储路径. 通过在浏览器中输入 localhost:6006 来查看 TensorBoard. 2)pip安装了 TensorBoard tensorboard --logdir=/path/to/log-di…

Docker 运行Tensorboard 和 jupyter的正确方法 网上找了很多方法都是jupyter 运行正常但不知道如何打开Tensorboard.折腾了很久,实验很多中方法最终找到了一个正确的方式. 首先创建docker volumes docker volume create --name notebooks docker volume create --name logs 注: 这个是docker创建的volume 用来供jupyter 运行的notebook 和log 保存的卷信…

使用场景:结果变量是类别型,二值变量和多分类变量,不满足正态分布  结果变量是计数型,并且他们的均值和方差都是相关的 解决方法:使用广义线性模型,它包含费正太因变量的分析 1.Logistics回归(因变量为类别型) 案例:匹配出发生婚外情的模型 1.查看数据集的统计信息 library(AER) data(Affairs,package = 'AER') summary(Affairs) table(Affairs$affairs) 结果:该数据从601位参与者收集了,婚外情次数,性别,年龄,…

先上代码: from __future__ import absolute_import from __future__ import division from __future__ import print_function # -*- coding: utf-8 -*- """ Created on Tue Nov 14 20:34:00 2017 @author: HJL """ # Copyright 2015 The TensorFl…

[写在前面] 用Tensorflow(TF)已实现好的卷积神经网络(CNN)模型来训练自己的数据集,验证目前较成熟模型在不同数据集上的准确度,如Inception_V3, VGG16,Inception_resnet_v2等模型.本文验证Inception_resnet_v2基于菜场实拍数据的准确性,测试数据为芹菜.鸡毛菜.青菜,各类别样本约600张,多个菜场拍摄,不同数据源. 补充:自己当初的计划是用别人预训练好的模型来再训练自己的数据集已使可以完成新的分类任务,但必须要修改代码改网络结构,并…

Beholder is a TensorBoard plugin for viewing frames of a video while your model trains. It comes with tools to visualize the parameters of your network, visualize arbitrary arrays like gradients. Beholder是一个TensorBoard插件,用于在模型训练时查看视频帧. 它具有可视化网络参数的工具,…

在学习深度网络框架的过程中,我们发现一个问题,就是如何输出各层网络参数,用于更好地理解,调试和优化网络?针对这个问题,TensorFlow开发了一个特别有用的可视化工具包:TensorBoard,既可以显示网络结构,又可以显示训练和测试过程中各层参数的变化情况.本博文分为四个部分,第一部分介绍相关函数,第二部分是代码测试,第三部分是运行结果,第四部分介绍相关参考资料. 一. 相关函数 TensorBoard的输入是tensorflow保存summary data的日志文件.日志文件名的形式如:e…

摘要: 1.代码例子 2.主要功能内容: 1.代码例子 <TensorFlow实战>使用MLP处理Mnist数据集并TensorBoard上显示 2.主要功能 执行TensorBoard程序,–logdir指定TensorFlow日志路径,TensorBoard自动生成所有汇总数据可视化结果. 例如:tensorboard –logdir=/tmp/tensorflow/mnist/logs/mnist_with_summaries ,将显示的网址(比如:localhost:6006)复制到浏…