tensorflow笔记(北大网课实战)
1、
tf.multiply(x,y1) # 对应元素相乘
tf.matmul(x,y2) # 矩阵相乘
2、会话:执行计算图中的节点运算的。
with tf.Session() as sess:
print sess.run(y)
3、参数:就是权重w,用变量表示。随机给初值。
w=tf.Variable(tf.random_normal([2,3],stddev=2,mean=0,seed=1))
正态分布, 标准差为2 均值是0
tf.truncated_normal() 去掉过大偏离点的正态分布
4、前向传播:搭建模型,实现推理
输入层,隐藏层,输出层
5、变量初始化、计算图节点运算,都要用会话实现:
变量初始化:
init_op=tf.global_variables_initializer()
sess.run(init_op)
计算图节点运算:在sess.run函数中用feed_dict喂数据
6、用tf.placeholder占位,在sess.run函数中用feed_dict喂数据
喂一组数据:
x=tf.placeholder(tf.float32,shape=(1,2)) 多组数据的话,把1改成None
sess.run(y,feed_dict={x:[[0.5,0.6]]})
import tensorflow as tf x = tf.placeholder(tf.float32,shape=(None,2))
w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1)) a = tf.matmul(x, w1)
y = tf.matmul(a, w2) with tf.Session() as sess:
init_op = tf.global_variables_initializer()
sess.run(init_op)
print(sess.run(y,feed_dict={x: [[0.7, 0.5],[0.2,0.3],
[0.3,0.4],[0.4,0.5]]}))
print(sess.run(w1))
print(sess.run(w2))
7、反向传播:训练模型参数,在所有参数上用梯度下降,使NN模型在训练数据对上的
损失函数最小。
损失函数(loss):预测值y与已知答案y_的差距
均方误差MSE
loss=tf.reduce_mean(tf.square(y_-y))
反向传播训练方法:以减小loss值为优化目标
学习率 :决定参数每次更新的幅度
import tensorflow as tf
import numpy as np BATCH_SIZE = 8 #一次喂入的数据
seed = 23455 rng = np.random.RandomState(seed)
X=rng.rand(32,2)
Y=[[int(x0 + x1 < 1)] for (x0,x1) in X]
print(X)
print(Y) x = tf.placeholder(tf.float32, shape=(None,2))#体积和重量两个特征
yy= tf.placeholder(tf.float32,shape=(None,1))#只有一个特征,合格或者不合格 w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1)) a=tf.matmul(x,w1)
y=tf.matmul(a,w2) #定义损失函数及反向传播方法
loss = tf.reduce_mean(tf.square(yy-y))
train_step=tf.train.GradientDescentOptimizer(0.001).minimize(loss)#学习率为0.001 with tf.Session() as sess:
init_op=tf.global_variables_initializer()
sess.run(init_op)
print(sess.run(w1))
print(sess.run(w2)) #训练模型
STEPS=3000#训练三千轮
for i in range(STEPS):
start = (i*BATCH_SIZE)%32
end = start+BATCH_SIZE
sess.run(train_step, feed_dict={x: X[start:end],yy: Y[start: end]})
if i % 500 == 0: #每500轮打印一次loss值
total_loss = sess.run(loss,feed_dict={x: X, yy: Y})
print(i,total_loss)
print(sess.run(w1))
print(sess.run(w2))
8、搭建神经网络的八股:准备、前传、反传、迭代
(1)准备:import ;常量定义;生成数据集
(2)前向传播:定义输入、参数和输出
(3)反向传播:定义损失函数,反向传播方法
loss = train_step =
(4)生成会话,训练STEPS轮
9、损失函数
NN复杂度:多用NN层数和NN参数的个数表示
层数=隐藏层的层数+1个输出层
总参数=总w+总b
自定义损失函数:
交叉熵:表征两个概率分布之间的距离
10、学习率:每次参数更新的幅度
学习率设置多少合适?指数衰减率
11、滑动平均(影子值)
记录了每个参数一段时间内过往值得平均,增加了模型的泛化性。
针对所有参数:w、b
tensorflow笔记(北大网课实战)的更多相关文章
- tensorflow笔记2(北大网课实战)
1.正则化缓解过拟合 正则化在损失函数中引入模型复杂度指标,利用给w加权值,弱化了训练数据的噪声 一般不会正则化b. 2.matplotlib.pyplot 3.搭建模块化的神经网络八股: 前向传播就 ...
- 对于coursera上三门北大网课的评测
今年暑假开始就选了coursera上三门北大的网课——C++程序设计.算法基础.数据结构基础,它们属于一个项目的,上的话每个月249块钱,项目里包括这三门一共有七门课.因为一开始是三门课同时上的,数据 ...
- CoolBlog开发笔记第2课:搭建开发环境
教程目录 1.1 CoolBlog开发笔记第1课:项目分析 前言 今天是CoolBlog开发笔记的第2课,我们将要讲解的是开发环境的搭建.俗话说"工欲善其事必先利其器",Djang ...
- CoolBlog开发笔记第3课:创建Django应用
教程目录 1.1 CoolBlog开发笔记第1课:项目分析 1.2 CoolBlog开发笔记第2课:搭建开发环境 前言 经过上一节我们已经创建了CoolBlog工程,但是关于CoolBlog的功能代码 ...
- CoolBlog开发笔记第4课:数据库模型设计
教程目录 1.1 CoolBlog开发笔记第1课:项目分析 1.2 CoolBlog开发笔记第2课:搭建开发环境 1.3 CoolBlog开发笔记第3课:创建Django应用 前言 我新书<Py ...
- CoolBlog开发笔记第5课:请求与响应
教程目录 1.1 CoolBlog开发笔记第1课:项目分析 1.2 CoolBlog开发笔记第2课:搭建开发环境 1.3 CoolBlog开发笔记第3课:创建Django应用 1.4 CoolBlog ...
- 手把手教你写电商爬虫-第三课 实战尚妆网AJAX请求处理和内容提取
版权声明:本文为博主原创文章,未经博主允许不得转载. 系列教程: 手把手教你写电商爬虫-第一课 找个软柿子捏捏 手把手教你写电商爬虫-第二课 实战尚妆网分页商品采集爬虫 看完两篇,相信大家已经从开始的 ...
- tensorflow笔记(一)之基础知识
tensorflow笔记(一)之基础知识 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7399701.html 前言 这篇no ...
- tensorflow笔记(二)之构造一个简单的神经网络
tensorflow笔记(二)之构造一个简单的神经网络 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7425200.html ...
随机推荐
- pythonfile的知识点
1. file=open("/test/case1.txt","w") #open(路径+文件名,读写模式) #读写模式: r:只读(默认) rb:读二进制文件 ...
- mapper语句的一些问题,union连表查询和mapper中根据条件不同采用不同语句的查询问题
根据业务要求,不同表查出来的内容天需要一起展示出来,并且还有分页之类的,不同表查询字段也不完全相同,这样就有一个问题,不同表如何接合在一起,不同字段怎么办? 这个问题就需要用到union联合查询,并将 ...
- VUE3.x 前瞻
文档: API Reference 教程 课件 1. 初始化项目 // ① npm i -g @vue/cli // ② vue create my-project // ③ npm install ...
- Python 删除文件与文件夹
版权所有,未经许可,禁止转载 章节 Python 介绍 Python 开发环境搭建 Python 语法 Python 变量 Python 数值类型 Python 类型转换 Python 字符串(Str ...
- 本地的jar包导入到maven仓库
需要引入本地jar,然后百度跟着教程实现了,做个记录加深印象.https://www.cnblogs.com/lixuwu/p/5855031.html 1首先找到要传入maven的jar包(放在一个 ...
- 第七篇 Django-认证系统
Django-认证系统 阅读目录(Content) 1 Cookie 与 Session 概念 查看cookie 登陆应用 Django中操作Cookie 1.获取Cookie 2.设置Cookie ...
- 2016蓝桥杯省赛C/C++A组第二题 跳蚱蜢
题意:有9只盘子,排成1个圆圈. 其中8只盘子内装着8只蚱蜢,有一个是空盘. 我们把这些蚱蜢顺时针编号为 1~8 每只蚱蜢都可以跳到相邻的空盘中,也可以再用点力,越过一个相邻的蚱蜢跳到空盘中. 请 ...
- js 琐碎
1.setTimeout() .setInterval() setTimeout() 方法用于在指定的毫秒数后调用函数或计算表达式.(即n毫秒后执行一次) setTimeout(code,n) set ...
- POJ 1068:Parencodings
Parencodings Time Limit: 1000MS Memory Limit: 10000K Total Submissions: 22849 Accepted: 13394 De ...
- 苹果maccms网站漏洞进行修复解决方法教程
上期发现视频名称中包含木马文件 然后教大家使用标签进行过滤 {$vo.vod_name|mac_filter_html} 可是最近发现现在黑客行为是全字段挂马,修改数据字段格式挂马,多重嵌套挂马. 真 ...