init.uniform / unit.normal
均匀分布
nn.init.uniform(tensor,a=0,b=1)
tensor -n维的torch.Tensor
a 均匀分布的下界,默认值为0
b 均匀分布的上界,默认值为1 正态分布
torcn.nn.init.normal(tensor,mean=0,std=1)
tensor n维的torch.Tensor
mean 正太分布的均值
std 正太分布的标准差
import torch
import torch.nn as nn import warnings
warnings.filterwarnings("ignore") w=torch.Tensor(3,5) # x_uniform=nn.init.uniform(tensor=w,a=2,b=6)
x_uniform=nn.init.uniform(tensor=w)
print("x_uniform",x_uniform) # x_normal=nn.init.normal(tensor=w,mean=10,std=2)
x_normal=nn.init.normal(tensor=w)
print("x_normal",x_normal) #xavier_uniform=nn.init.xavier_uniform(tensor=w,gain=1)
xavier_uniform=nn.init.xavier_uniform(tensor=w,gain=nn.init.calculate_gain('relu'))
print("xavier_uniform",xavier_uniform) #xavier_normal=nn.init.xavier_normal(tensor=w,gain=1)
xavier_normal=nn.init.xavier_normal(tensor=w,gain=nn.init.calculate_gain('relu'))
print("xavier_normal",xavier_normal) '''
x_uniform tensor([[0.2816, 0.4711, 0.8996, 0.7330, 0.5513],
[0.5623, 0.0418, 0.7624, 0.5373, 0.6279],
[0.1240, 0.9987, 0.3897, 0.9821, 0.1776]])
x_normal tensor([[-0.8959, 0.4796, -1.3757, -1.1037, 2.0843],
[ 0.0715, 0.4563, 1.2856, -0.9393, 0.1773],
[-0.9491, 0.0170, -0.8944, 0.7141, 1.3373]])
xavier_uniform tensor([[ 0.7476, -0.5736, -0.1695, 0.5489, -0.0284],
[ 1.0224, -0.8135, 0.1688, 0.3294, 0.4330],
[-1.1458, -0.4438, 0.5714, -0.9706, -1.0764]])
xavier_normal tensor([[ 0.3797, 0.4196, 1.0782, 0.0434, 0.6576],
[-0.2319, -0.1747, -0.9296, -0.8965, 0.3372],
[ 0.0703, 0.6307, -0.0976, 0.4038, -0.6067]]) '''
init.uniform / unit.normal的更多相关文章
- pytorch系列 -- 9 pytorch nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization
本文内容:1. Xavier 初始化2. nn.init 中各种初始化函数3. He 初始化 torch.init https://pytorch.org/docs/stable/nn.html#to ...
- nginx unit的初探
安装介绍: https://www.oschina.net/p/nginx-unit 可以看到,unit还是很强大的,居然特么都支持go 还有python 在/etc/yum.repos.d/unit ...
- 学习笔记TF037:实现强化学习策略网络
强化学习(Reinforcement Learing),机器学习重要分支,解决连续决策问题.强化学习问题三概念,环境状态(Environment State).行动(Action).奖励(Reward ...
- C++ Style Languages: C++, Objective-C, Java, C#
Hyperpolyglot.org From Hyperpolyglot.org C++ Style Languages: C++, Objective-C, Java, C# a side-by-s ...
- <<Differential Geometry of Curves and Surfaces>>笔记
<Differential Geometry of Curves and Surfaces> by Manfredo P. do Carmo real line Rinterval I== ...
- 基于pytorch的CNN、LSTM神经网络模型调参小结
(Demo) 这是最近两个月来的一个小总结,实现的demo已经上传github,里面包含了CNN.LSTM.BiLSTM.GRU以及CNN与LSTM.BiLSTM的结合还有多层多通道CNN.LSTM. ...
- Keras框架简介
Keras是基于Theano的一个深度学习框架,它的设计参考了Torch,用Python语言编写,是一个高度模块化的神经网络库,支持GPU和CPU.使用文档在这:http://keras.io/,中文 ...
- <Differential Geometry of Curves and Surfaces>(by Manfredo P. do Carmo) Notes
<Differential Geometry of Curves and Surfaces> by Manfredo P. do Carmo real line Rinterval I== ...
- 详细解读简单的lstm的实例
http://blog.csdn.net/zjm750617105/article/details/51321889 本文是初学keras这两天来,自己仿照addition_rnn.py,写的一个实例 ...
随机推荐
- scrollView 嵌套 listview 方式除了测量还有什么方法?
1.手动设置 ListView 高度经过测试发现,在 xml 中直接指定 ListView 的高度,是可以解决这个问题的,但是 ListView中的数据是可变的,实际高度还需要实际测量.于是手动代码设 ...
- 代码实现:有五个学生,每个学生有3门课的成绩,从键盘输入以上数据 (包括学生号,姓名,三门课成绩),计算出平均成绩,将原有的数据和计算出的平均分数存放在磁盘文件"stud"中。
import java.io.BufferedWriter; import java.io.FileWriter; import java.io.IOException; import java.ut ...
- jquery.validate.js使用之自定义表单验证规则
jquery.validate.js使用之自定义表单验证规则,下面列出了一些常用的验证法规则 jquery.validate.js演示查看 jquery validate强大的jquery表单验证插件 ...
- Summernote文本编辑器入门
1.summernote是一个界面比较简洁美观的富文本编辑器. 2.文件导入(官方下载地址:http://summernote.org/) 下载回来的文件夹是这样的: 插件的核心文件放在 dist 这 ...
- 【FICO系列】SAP 参数(条件表)灵活配置GS01/GS02/GS03
公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[FICO系列]SAP 参数(条件表)灵活配 ...
- Vue --》this.$set()的神奇用法
作为一名开发者,我们都知道: data中数据,都是响应式.也就是说,如果操作data中的数据,视图会实时更新: 但在实际开发中,遇到过一个坑:若data中数据类型为对象,方法methods中改变对象的 ...
- 红帽学习笔记[RHCSA] 第二周
目录 红帽学习笔记[RHCSA]第二周 环境 第七课[网络配置相关] 在Vmware中添加网卡 将网卡添加到虚拟机上 关于网卡命名规则 配置网络 网络配置命令总结 更改hostname 关于SSH的一 ...
- CDH开启ldap
参考: 官网ldap: https://www.cloudera.com/documentation/enterprise/6/6.2/topics/cm_sg_ldap_grp_mappings.h ...
- C++中setiosflags()的用法
cout<<setiosflags(ios::fixed)<<setiosflags(ios::right)<<setprecision(2); setiosfla ...
- 洛谷P1029 最大公约数和最小公倍数问题 (简单数学题)
一直懒的写博客,直到感觉不写不总结没有半点进步,最后快乐(逼着)自己来记录蒟蒻被学弟学妹打压这一年吧... 题目描述 输入22个正整数x_0,y_0(2 \le x_0<100000,2 \le ...