截图：【炼数成金】深度学习框架Tensorflow学习与应用

创建图、启动图

Shift+Tab Tab

变量介绍：

F

etch

Feed

简单的模型构造

：线性回归

MNIST数据集 Softmax函数

非线性回归神经网络

 

MINIST数据集分类器简单版本

二次代价函数

sigmoid函数

交叉熵代价函数

对数释然代价函数

拟合

防止过拟合

Dropout

优化器

优化器的使用

如何提升准确率？

1.改每批训练多少个

2.改神经网络中间层（神经元层数，每层的个数，每层用的激活函数，权重的初值用随机正态、要不要防止过拟合）

3.改计算loss的函数：交叉熵cross entropy更好。【sigmoid函数一般是作为每层的激活函数，softmax函数是用于多分类，且该函数一般用在最后一层，即输出层，并且不是使用sigmoid函数来获得输出。前面的激活函数用不用sigmoid函数不作要求。logistic相当于只有输入层、单隐层神经元，和两个神经元的输出层，即结构特别简单，输入直接和权重相乘之后，加上偏置，再进行sigmoid激活函数激活，就得到了输出层的两个概率值，分别表示两个类别的概率。而softmax通常用在多层神经网络的的最后一层，中间经过了多次运算和激活，最后的类别不止两类。】

4.改优化器（类型、学习率）：Adadelta很厉害。

5.改迭代次数：一般越大越好，次数要足够，稳定、变化不大。

 

ANN代码结构的总结——"六股文"：

第一步：构建输入参数。

第二步：构建神经网络。

第三步：选择代价函数。

第四步：选择优化器

第五步：计算准确率。

第六步：创建会话，进行运算

看看老师的优化：

将MNIST数据集准确率优化到98%以上

AI-11【炼数成金】深度学习框架Tensorflow学习与应用 视频05：tensorboard可视化部分暂时不看（10:12 – 结尾）

 

 

卷积神经网络CNN

神经网络用于MNIST数据集分类

CNN代码结构的总结

有待看tensorflow笔记

 

 

AI-11【炼数成金】深度学习框架Tensorflow学习与应用 视频05：循环神经网络RNN部分暂时不看

 

模型的保存与载入

下载模型：文件夹不存在？

使用下载的模型

测试训练好的模型

 

安装GPU版tensorflow

tfrecords文件的分块生成

验证码的生成

验证码识别之生成单个tfrecords文件

 

多任务训练

 

从tfrecords读取数据

验证码识别的训练程序用到Alexnet

最后一层的四个输出，前面所有共享。

验证码识别的测试程序