最近研究了下如何使用tensorflow进行finetuning,相比于caffe,tensorflow的finetuning麻烦一些,记录如下: 1.原理 finetuning原理很简单,利用一个在数据A集上已训练好的模型作为初始值,改变其部分结构,在另一数据集B上(采用小学习率)训练的过程叫做finetuning. 一般来讲,符合如下情况会采用finetuning 数据集A和B有相关性 数据集A较大 数据集B较小 2.关键代码 在数据集A上训练的时候,和普通的tensorflow训练过程完全…

一个TensorFlow的例子 import tensorflow as tf x = tf.constant(1.0, name='input') w = tf.Variable(0.8, name='weight') y = tf.multiply(w, x, name='output') y_ = tf.constant(0.0, name='correct_value') loss = tf.pow(y - y_, 2, name='loss') train_step = tf.trai…

# For CPU-only version $ pip install https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl # For GPU-enabled version (only install this version if you have the CUDA sdk installed) $ pip install https://storag…

tensorflow 中文文档: http://www.tensorfly.cn http://wiki.jikexueyuan.com/project/tensorflow-zh/ tensorflow 实用例子 https://github.com/aymericdamien/TensorFlow-Examples 神经网络及深度学习了解 入门了解 http://neuralnetworksanddeeplearning.com BP推导 http://neuralnetworksandde…

---恢复内容开始--- 1.softmax函数 2.tensorflow实现例子 #!/usr/bin/env python # -*- coding: utf-8 -*- import tensorflow as tf input_data = tf.Variable( [[0.2, 0.2, 0.2]] , dtype = tf.float32 ) output = tf.nn.softmax(input_data) with tf.Session() as sess: init = tf…

tensorflow 是一个google开源的深度学习的框架,执行性能良好,值得使用. caffe,caffe2 通过配置就可以拼凑一个深度学习框架,大大简化流程但也依赖大量的开源库,性能也不错.2013开始面世,很有活力的一个框架. keras 这个一个积木式的框架,有很多现成的函数 可以直接拿来用,开发速度杠杠的,就是缺少灵活性. MXNet 是一个全功能,灵活可编程和高扩展性的深度学习框架,可能学术上用的比较多吧! Torch 是一个facebook在维护的框架,灵活性也很大,不过要lua…

0. 引言 Tensorflow于1.7之后推出了tensorflow hub,其是一个适合于迁移学习的部分,主要通过将tensorflow的训练好的模型进行模块划分,并可以再次加以利用.不过介于推出不久,目前只有图像的分类和文本的分类以及少量其他模型 这里先通过几个简单的例子,来展示该hub的使用流程. 1. 一个超简单例子 1.1 创建一个Module #该文件名为half_plus_two.py '''1 - 导入模块 ''' from __future__ import absolute…

欢迎转载,但请务必注明原文出处及作者信息. @author: huangyongye @creat_date: 2017-03-09 前言: 根据我本人学习 TensorFlow 实现 LSTM 的经历,发现网上虽然也有不少教程,其中很多都是根据官方给出的例子,用多层 LSTM 来实现 PTBModel 语言模型,比如: tensorflow笔记:多层LSTM代码分析 但是感觉这些例子还是太复杂了,所以这里写了个比较简单的版本,虽然不优雅,但是还是比较容易理解. 如果你想了解 LSTM 的原理的…

https://blog.csdn.net/hjimce/article/details/51899683 一.构建路线 个人感觉对于任何一个深度学习库,如mxnet.tensorflow.theano.caffe等,基本上我都采用同样的一个学习流程,大体流程如下: (1)训练阶段:数据打包->网络构建.训练->模型保存->可视化查看损失函数.验证精度 (2)测试阶段:模型加载->测试图片读取->预测显示结果 (3)移植阶段:量化.压缩加速->微调->C++移植打…

环境:Ubuntu+TensorFlow 首先是GPU被其他人占用了,怎么也跑不起来最简单的TensorFlow小例子. 所以先学会如何查看显卡使用情况,转去使用其他空闲显卡. Linux查看Nvidia显卡信息及使用情况 nvidia-smi 结合top,查找进程号对应的用户 Fan:显示风扇转速,数值在0到100%之间,是计算机的期望转速,如果计算机不是通过风扇冷却或者风扇坏了,显示出来就是N/A: Temp:显卡内部的温度,单位是摄氏度: Perf:表征性能状态,从P0到P12,P0表示最…