#pragma pack(n) 与 __attribute(aligned(n))   在C语言中,结构是一种复合数据类型,其构成元素既可以是基本数据类型(如int.long.float等)的变量,也可以是一些复合数据类型(如数组.结构.联合等)的数据单元.在结构中,编译器为结构的每个成员按其自然对界(alignment)条件分配空间.各个成员按照它们被声明的顺序在内存中顺序存储,第一个成员的地址和整个结构的地址相同. 例如,下面的结构各成员空间分配情况: struct test {     …

转载 - Recurrent Neural Networks Tutorial, Part 3 – Backpropagation Through Time and Vanishing Gradients 本文是 RNN入门教程 的第三部分. In the previous part of the tutorial we implemented a RNN from scratch, but didn’t go into detail on how Backpropagation Through…

语言模型简介(Language Model) 简单的说,语言模型 (Language Model) 是用来计算一个句子出现概率的模型,假设句子  ,其中  代表句子中的第  个词语,则语句 W 以该顺序出现的概率可以表示为: 其中 ,  $p(w_n|w_1^{n-1}) = p(w_n|w_1,w_2,...,w_{n-1})$  ,  $ p(w_n|w_1^{n-1})$ 即为 Language Model 的参数,.通常参数的求解用方法是 N-gram 模型,最大熵模型,HMM,CRF…

Description 题库链接 给你 \(n\) 个节点 \(m\) 条边的无向连通图.每条边有两个权值 \(c,t\) ,要你生成一棵边集为 \(\mathbb{E}\) 的生成树使得 \[\sum_{e\in \mathbb{E}}e_c \times \sum_{e\in \mathbb{E}}e_t\] 最小. \(1\leq n\leq 200,1\leq m\leq 10000\) Solution 令 \(x=\sum_{e\in \mathbb{E}}e_c,y=\sum_{e…

YOLO V2 YOLO V2是在YOLO的基础上,融合了其他一些网络结构的特性(比如:Faster R-CNN的Anchor,GooLeNet的\(1\times1\)卷积核等),进行的升级.其目的是弥补YOLO的两个缺陷: YOLO中的大量的定位错误 和基于区域推荐的目标检测算法相比,YOLO的召回率(Recall)较低. YOLO V2的目标是:在保持YOLO分类精度的同时,提高目标定位的精度以及召回率.其论文地址: YOLO 9000:Better,Faster,Stronger. YO…

对极约束 \[ \boldsymbol{x}_{2}^{T} \boldsymbol{F} \boldsymbol{x}_{1}=\boldsymbol{0} \quad \hat{\boldsymbol{x}}_{2}^{T} \boldsymbol{E} \hat{\boldsymbol{x}}_{1}=\mathbf{0} \] 其中 \[ \boldsymbol{E}=\boldsymbol{K}_{2}^{-T} \boldsymbol{F K}_{1} \quad \hat{\bol…

Introduction Among simulation engineers, it is well accepted that the solution of a PDE can be envisioned as the following three general steps (actually, this was also my premature understanding during the early era of my study on numerical simulatio…

http://codeforces.com/problemset/problem/235/E (题目链接) 题意 给出${a,b,c}$,求${\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^cd(ijk)}$ extra 有这样一个公式,就是约数个数和那道题的推广吧.$${\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^cd(ijk)=\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^c[gcd(i,j)=gcd(i,k)=gcd…

上次的博客有点模糊的说...我把思路和算法实现说一说吧... 思路 关于快速沃尔什变换,为了方便起见,我们采用线性变换(非线性变换不会搞). 那么,就会有一个变化前各数值在变换后各处的系数,即前一篇博文中的$f(i,j)$,表示线性变换中第$i$项到第$j$项的系数. 即 $$DWT(A)_i = \sum_{j=0}^{n-1} A_j * f(i,j)$$ 那么,我们既然要求$\oplus$卷积在变换后等价于乘积,就有 $$DWT(A)_i * DWT(B)_i = DWT(C)_i$$ 其…

题目 这道题的题意理解很重要,直接写原题了. 小林把人体需要的营养分成了\(n\)种,他准备了2套厨师机器人,一套厨师机器人有\(n\)个,每个厨师机器人只会做一道菜,这道菜一斤能提供第\(i\)种营养\(x_i\)微克.想要吃这道菜的时候,只要输入一个数,就能吃到对应数量的这道菜了.为防止摄入过量对身体造成的伤害,每个机器人还有防过量摄入药,只要输入一个数,就能生成一定剂量的药,吃了这些药,就能减少相当于食用对应数目的这道菜提供的营养. 小林之所以准备2套厨师机器人,是因为某一个厨师机器人可能…

开篇题 这个系列的文章主要参考cs229课程的内容,按照自己的思路和其他课程与书籍方式梳理下来,可能顺序和内容都与cs229有点不一样,但是参考内容我都会附在最后.而且这个系列主要讲个人的理解不想太多堆公式,公式的话随便看看就好. 所以我会说很多啰嗦话来解释我们为什么找到这么个东西来描述这么个事情而不是罗列公式,所以会省略很多公式上的细节.有需要的话可以翻一翻后面列的参考资料. 最后,配合原版课程食用更佳. 符号说明 进入正题之前先说明一下符号体系,因为不同书籍和课程用的符号体系可能不同,本系列…

目录 梯度下降法更新参数 Adam 更新参数 Adam + 学习率衰减 Adam 衰减的学习率 References 本文先介绍一般的梯度下降法是如何更新参数的,然后介绍 Adam 如何更新参数,以及 Adam 如何和学习率衰减结合. 梯度下降法更新参数 梯度下降法参数更新公式: \[ \theta_{t+1} = \theta_{t} - \eta \cdot \nabla J(\theta_t) \] 其中,\(\eta\) 是学习率,\(\theta_t\) 是第 \(t\) 轮的参数,\…

1.解方程转化为优化问题 $n\left\{ \begin{aligned}& {{P}_{1}}(x)=0 \\ & {{P}_{2}}(x)=0 \\ & \text{   }\vdots  \\& {{P}_{n}}(x)=0 \\\end{aligned} \right.\text{              }x=\left[ \begin{aligned}  & {{x}_{1}} \\& {{x}_{2}} \\& \vdots  \\…

2.1 求解梯度的两种方法 以$f(x,y)={{x}^{2}}+{{y}^{3}}$为例,很容易得到: $\nabla f=\left[ \begin{aligned}& \frac{\partial f}{\partial x} \\& \frac{\partial f}{\partial y} \\\end{aligned} \right]=\left[ \begin{aligned}& 2x \\& 3{{y}^{2}} \\\end{aligned} \right…

优化问题定义以及求解 通用定义 解决问题的开始一定是定义清楚问题.这里引用g2o的定义. \[ \begin{aligned} \mathbf{F}(\mathbf{x})&=\sum_{k\in \mathcal{C}} \underbrace{\mathbf{e}_k(\mathbf{x}_k,\mathbf{z}_k)^\top \Omega_k\mathbf{e}_k(\mathbf{x}_k,\mathbf{z}_k)}_{\mathbf{F}_k} \\ \mathbf{x}^* &a…

该方法源于<Least-Squares Rigid Motion Using SVD>,原文推导十分详细,这里自己也仔细推导了一遍,有些地方加以注释整理. 问题定义 假设我们有两个点云集合\(\mathcal{P}=\left\{\mathbf{p}_{1}, \mathbf{p}_{2}, \ldots, \mathbf{p}_{n}\right\}\)和\(\mathcal{Q}=\left\{\mathbf{q}_{1}, \mathbf{q}_{2}, \ldots, \mathbf{…

多层感知机 隐藏层 激活函数 小结 多层感知机 之前已经介绍过了线性回归和softmax回归在内的单层神经网络,然后深度学习主要学习多层模型,后续将以多层感知机(multilayer percetron,MLP),介绍多层神经网络的概念. 隐藏层 多层感知机在单层神经网络的基础上引入了一到多个隐藏层(hidden layer).隐藏层位于输入层和输出层质检.下图展示了一个多层感知机的神经网络,它含有一个隐藏层,该层中有5个隐藏单元. 输入和输出个数为别为4和3,中间隐藏层中包含了5个隐藏单元.由…

Abstract propose了一种非直接法叫"VITAMIN-E": 准确而鲁邦, 跟踪的是稠密特征. 传统非直接法对于重建稠密几何有难度因为他们对于点的选择(为了匹配)很慎重. 和传统的方法不同, 这个方法处理了大量的特征点通过跟踪局部的曲度的极值通过dominant flow estimation. 因为这可能会导致大量的计算量, 我们用subspace Gauss-Newton method通过局部更新变量来提升BA的计算量表现. 我们同时也会对于重建出来的点生成mesh然后…

也许更好的阅读体验 \(\mathcal{Description}\) 原题链接 \(T\)组询问,每次给\(n,s,a_0,a_1,a_2,a_3\)求 \(\begin{aligned}\left(\sum ^{n}_{i=0}\begin{pmatrix} n \\ i \end{pmatrix}\cdot s^{i}\cdot a_{i\ mod\ 4}\right)mod\ 998244353\end{aligned}\) \(\mathcal{Solution}\) 这道题要用单位根…

推荐系统模型演化 LR-->GBDT+LR FM-->FFM-->GBDT+FM|FFM FTRL-->GBDT+FTRL Wide&DeepModel (Deep learning era) 将从以下3方面进行模型分析: 1.why(模型设计背后的原理) 2.how(具体怎么设计,如何应用) 3.discussion(模型讨论) Wide&Deep why Memorization 和 Generalization 假如你设计了一个外卖推荐系统gugu,用户睡觉醒…

最基本的SVM(Support Vector Machine)旨在使用一个超平面,分离线性可分的二类样本,其中正反两类分别在超平面的一侧.SVM算法则是要找出一个最优的超平面. 线性可分SVM 优化函数定义 给定一个特征空间线性可分的数据集: $T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$ 特征分布类似下图: 如上图,当特征空间为二维时,超平面就是比二维空间第一维度的直线.任意维超平面定义如下(其中$x$是$n$维特征向量,$w,b$是超平面系数): $w…

本章代码:https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/grad_vanish_explod.py 在搭建好网络模型之后,一个重要的步骤就是对网络模型中的权值进行初始化.适当的权值初始化可以加快模型的收敛,而不恰当的权值初始化可能引发梯度消失或者梯度爆炸,最终导致模型无法收敛.下面分 3 部分介绍.第一部分介绍不恰当的权值初始化是如何引发梯度消失与梯度爆炸的,第二部分介绍常用的 Xavier 方法与 Kaim…

本章代码: https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/optimizer_methods.py https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/momentum.py 这篇文章主要介绍了 PyTorch 中的优化器,包括 3 个部分:优化器的概念.optimizer 的属性.optimizer 的方法. 优化器的概念 P…

概述 总体而言,这两篇论文都在追求一件事,那就是它们名字中都有的 efficient.只是两篇文章的侧重点不一样,EfficientNet 主要时研究如何平衡模型的深度 (depth).宽度 (width) 以及分辨率 (resolution) 以获得更好的性能,并使用了一个复合系数 (compound coefficient) 来统一调整模型的规模.EfficientDet 的亮点在于提出了 BiFPN (双向特征金字塔网络?),其实就是目标检测中的 neck 部分用于特征图的融合,然后在这个…

深度学习优化器 深度学习中的优化器均采用了梯度下降的方式进行优化,所谓炼丹我觉得优化器可以当作灶,它控制着火量的大小.形式与时间等. 初级的优化器 首先我们来一下看最初级的灶台(100 - 1000 元) Batch Gradient Descent (BGD) 名字叫做批梯度下降,实际上每次迭代会使用全部的数据来更新梯度(应该是取所有数据的平均梯度),具体公式如下: \[\theta = \theta - \eta \cdot \nabla_{\theta} J(\theta) \] 伪代码如…

CS229 斯坦福大学机器学习复习材料(数学基础) - 线性代数 线性代数回顾与参考 1 基本概念和符号 1.1 基本符号 2 矩阵乘法 2.1 向量-向量乘法 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3 操作及其性质 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交矩阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩…

Batch Normlization(BN) 为什么要进行 BN 防止深度神经网络,每一层得参数更新会导致上层的输入数据发生变化,通过层层叠加,高层的输入分布变化会十分剧烈,这就使得高层需要不断去重新适应底层的参数更新.为了训好模型,我们需要非常谨慎地去设定学习率.初始化权重.以及尽可能细致的参数更新策略. 另外对一些激活函数具有饱和区,比如 sigmoid 函数的输入较大和较小,此时的梯度很小,这会导致权重更新十分缓慢.又比如下图的 tanh 函数: 如果输入的数值没有 BN 那么数据可能在两…

论文地址:https://arxiv.53yu.com/abs/2104.04325 联合在线多通道声学回声消除.语音去混响和声源分离 摘要: 本文提出了一种联合声源分离算法,可同时减少声学回声.混响和干扰源.通过最大化相对于其他源的独立性,将目标语音从混合中分离出来.结果表明,分离过程可以分解为级联的子过程,分别与声学回声消除.语音去混响和源分离相关,所有这些都使用基于辅助函数的独立分量/矢量分析技术及其求解顺序来求解是可交换的.级联解决方案不仅导致较低的计算复杂度,而且比普通联合算法具有更好…

论文信息 论文标题:Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization论文作者:Wei Dong, Junsheng Wu, Yi Luo, Zongyuan Ge, Peng Wang论文来源:CVPR 2022论文地址:download论文代码:download 1 摘要 在本工作中,我们提出了一种简单而有效的自监督节点表示学习策略,通过直接最大化节点的…

论文地址:面向基于深度学习的语音增强模型压缩 论文代码:没开源,鼓励大家去向作者要呀,作者是中国人,在语音增强领域 深耕多年 引用格式:Tan K, Wang D L. Towards model compression for deep learning based speech enhancem…