tensorflow2.0学习笔记第二章第一节

【tensorflow2.0学习笔记第二章第一节】的更多相关文章

tensorflow2.0学习笔记第二章第一节

2.1预备知识 # 条件判断tf.where(条件语句,真返回A,假返回B) import tensorflow as tf a = tf.constant([1,2,3,1,1]) b = tf.constant([0,1,2,4,5]) c = tf.where(tf.greater(a,b),a,b) # 返回张量中比较大的元素 print(c) tf.Tensor([1 2 3 4 5], shape=(5,), dtype=int32) # 返回[0,1)之间的随机数 import n…

tensorflow2.0学习笔记第二章第二节

2.2复杂度和学习率指数衰减学习率可以先用较大的学习率,快速得到较优解,然后逐步减少学习率,使得模型在训练后期稳定指数衰减学习率 = 初始学习率 * 学习率衰减率^(当前轮数/多少轮衰减一次) 空间复杂度: 层数 = 隐藏层的层数 + 1个输出层 (去掉输入层) 总参数 = 总w + 总b 0 0 0 0 0 0 0 0 0 0 0 例如上图第一层:3x5+5 = 20 第二层5x3+3=18 总共38个时间复杂度复杂度乘加运算次数左图 3X5 + 5x3 = 30 第一层第二层…

tensorflow2.0学习笔记第二章第四节

2.4损失函数损失函数(loss):预测值(y)与已知答案(y_)的差距 nn优化目标:loss最小->-mse -自定义 -ce(cross entropy)均方误差mse:MSE(y_,y)=E^n~i=1(y-y_)^2/n loss_mse = tf.reduce_mean(tf.square(y_-y)) import tensorflow as tf import numpy as np SEED = 23455 rdm = np.random.RandomState(seed=SE…

tensorflow2.0学习笔记第二章第三节

2.3激活函数sigmoid函数 f(x)= 1/(1 + e^-x)tf.nn.sigmoid(x)特点:(1)求导后的数值在0-0.25之间,链式相乘之后容易使得值趋近于0,形成梯度消失 (2)输出非0均值.收敛慢 (3)幂运算复杂,训练时间长 tanh函数 f(x)=(1-e^-2x)/(1+e^-2x)tf.math.tanh(x)特点:(1)输出是0均值 (2)导数值在0-1之间,容易造成梯度消失 (3)幂运算复杂,训练时间长 relu函数 f(x) = max(x,0) = {0,x…