目录 Sigmoid 函数的优缺点是什么 ReLU的优缺点 什么是交叉熵 为什么分类问题的损失函数为交叉熵而不能是 MSE? 多分类问题中,使用 sigmoid 和 softmax 作为最后一层激活函数的区别 为什么 LSTM 中的激活函数为 tanh 和 sigmoid 而不用 Relu softmax 的反向传播 Sigmoid 函数的优缺点是什么 优点: 输出范围优先,可以将任意范围的输出映射到 (0, 1) 范围内,在输出层可以用于表示二分类的输出概率 易于求导 缺点: Sigmoid…

目录 防止过拟合的方法 什么是梯度消失和梯度爆炸?如何解决? 在深度学习中,网络层数增多会伴随哪些问题,怎么解决? 关于模型参数 模型参数初始化的方法 模型参数初始化为 0.过大.过小会怎样? 为什么说模型参数越小,模型越简单 正则化 Regularization 正则化方法 正则化如何解决过拟合的 如何在代码中加入正则化 关于梯度下降 Batch/Mini-Batch/SGD梯度下降 增大 batch size 的影响 优化算法(Momentum/RMSProp/Adam) 归一化 Norma…

目录 自回归语言模型与自编码语言 Bert Bert 中的预训练任务 Masked Language Model Next Sentence Prediction Bert 的 Embedding BERT-wwm Roberta 与 Bert 的区别 ERNIE 与 Bert 的区别 XLNet 排列语言模型(Permutation Language Model,PLM) 双流注意力机制(Two-Stream Self-Attention) 部分预测(Partial Prediction) T…

最近开始学习人工智能,先从基本的概念学起 逻辑回归函数(预测函数):z = dot(w,x) + b 解释:假设有三个特征,即x可以表示为(x1,x2,x3),w表示权重,对应每个特征的重要程度,b表示阈值,z是预测值,展开公式,即z=(x1*w1+x2*w2+x3*w3)+b 激活函数:f(z)=(1+e−z)-1 用于使预测值z在[0-1]区间上,曲线图如下 损失函数:判断自己是否预测的正确,单个训练样本的损失函数如下: 即整个训练集的损失函数可以得出以下公式,可以成为成本函数: 结果越大,…

激活函数 各激活函数曲线对比 常用激活函数: tf.sigmoid() tf.tanh() tf.nn.relu() tf.nn.softplus() tf.nn.softmax() tf.nn.dropout() tf.nn.elu() import numpy as np import matplotlib.pyplot as plt from scipy.misc import derivative def sigmoid(x): y = 1 / (1 + np.exp(-x)) retu…

面试是一对一 或者多对一的沟通,是和候选人 互相交换信息.平等的. 面试的目标是选择和雇佣最适合的人选.是为了完成组织目标.协助人力判断候选人是否合适空缺职位. 面试类型: (1)预判面试(查看简历后的电话面试) (2)结构化面试(所有人问同样的问题) (3)行为面试(简历有某年-某年  在xx就职...则针对提问) (4)情景化面试 (带到场景里提问) (5)发散性提问 (5)压力面试 面试步骤: (1)根据简历准备提问 (2)面试开始提问面试无关问题,减轻候选人紧张度 (3)看下简历和时间的…

目录 Attention机制的原理 Attention机制的类别 双向注意力 Self-Attention 与 Soft-Attention 的区别 Transformer Multi-Head Attention 机制 Self-Attention机制 Position-wise Feed-Forward Layer 使用残差连接的部分 Transformer Decoder 与 Encoder 之间的区别 位置编码 Attention机制的原理 关键的三个变量 Query, Key, Val…

该小博主介绍 本人:笔名zenRRan,方向自然语言处理,方法主要是深度学习. 未来的目标:人工智能之自然语言处理博士. 写公众号目的:将知识变成开源,让每个渴求知识而难以入门人工智能的小白以及想进阶的小牛找到新的捷径. 公众号特点:文章写的十分生动详细,不懂的可以加小编微信,一起探讨. 写公众号原因:因为我喜欢将知识分享给大家,和大家一起学习,每天进步一丢丢. 口号:坚持下去,每天进步一丢丢! 文章涉及的方向 自然语言处理(情感分析.句法分析.智能司法.机器翻译.意见挖掘等领域).机器学习和深…

机器学习的发展可以追溯到1959年,有着丰富的历史.这个领域也正在以前所未有的速度进化.在之前的一篇文章中,我们讨论过为什么通用人工智能领域即将要爆发.有兴趣入坑ML的小伙伴不要拖延了,时不我待! 在今年秋季开始准备博士项目的时候,我已经精选了一些有关机器学习和NLP的优质网络资源.一般我会找一个有意思的教程或者视频,再由此找到三四个,甚至更多的教程或者视频.猛回头,发现标收藏夹又多了20个资源待我学习(推荐提升效率工具Tab Bundler). 找到超过25个有关ML的"小抄"后,我…

项目地址:https://github.com/imhuay/Algorithm_Interview_Notes-Chinese 如下所示为整个项目的结构,其中从机器学习到数学主要提供的是笔记与面试知识点,读者可回顾整体的知识架构.后面从算法到笔试面经主要提供的是问题及解答方案,根据它们可以提升整体的解题水平与编程技巧. 面试知识点 面试题多种多样,但机器学习知识就那么多,那么为了春招或春季跳槽,何不过一遍 ML 核心知识点?在这个 GitHub 项目中,作者前一部分主要介绍了机器学习及各子领域…