一次只学习一个任务，大部分机器学习都属于单任务学习。

多任务学习：把多个相关的任务放在一起学习，同时学习多个任务。

对于复杂的问题，可以分解为简单的相互独立的子问题来解决，然后再合并结果，得到最初复杂问题的结果。这样是错误的。因为现实中很多问题都不能分解成一个一个独立的问题，就算可以分解，子问题之间还是相互关联的，通过一些共享因素联系在一起。多任务学习是把多个任务之间共享一些因素，在学习的过程中共享他们所学到的信息，有更好的泛化效果。（多个任务的浅层共享）。

定义

基于共享表示，把多个相关的任务放在一起学习的机器学习方法。

多个相关任务同时并行学习，梯度同时反向传播，多个任务通过底层的共享表示、互相补充学习到的领域相关的信息，互相帮助学习任务，提升泛化效果。

作用

为什么能提高学习效果？

1、噪声

多个相关的任务放在一起学习，有相关的部分，也有不相关的部分。当学习一个任务时候，和这个任务不相关的信息就相当于是噪声，引入噪声可以调高泛化效果。

2、逃离局部最优解

单任务学习时，梯度的传播容易陷入局部极小值。但是多任务学习中的不同任务的局部极小值处于不同位置，通过相互作用，可以帮助逃离局部极小值；

3、权值更新

改变了权值更新的动态特性，比如多任务并行学习，提升了浅层共享层的学习速率；

4、泛化

可能削弱了网络的能力，降低了网络的过拟合，提升了泛化效果；

多任务Multitask Learning的更多相关文章

  1. 【论文笔记】多任务学习（Multi-Task Learning）

    1. 前言 多任务学习(Multi-task learning)是和单任务学习(single-task learning)相对的一种机器学习方法.在机器学习领域,标准的算法理论是一次学习一个任务,也就 ...

  2. [译]深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks)

    译自:http://sebastianruder.com/multi-task/ 1. 前言 在机器学习中,我们通常关心优化某一特定指标,不管这个指标是一个标准值,还是企业KPI.为了达到这个目标,我 ...

  3. 【转载】 迁移学习(Transfer learning),多任务学习(Multitask learning)和端到端学习(End-to-end deep learning)

    --------------------- 作者:bestrivern 来源:CSDN 原文:https://blog.csdn.net/bestrivern/article/details/8700 ...

  4. 阅读笔记Multi-task Learning for Stock Selection [NIPS1996]

    Multi-task Learning for Stock Selection  Joumana Ghosn and Yoshua Bengio 摘要 用人工神经网络预测未来回报以便于做出对应的金融决 ...

  5. 论文笔记之：Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach

    Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach  2017.11.28 Introductio ...

  6. 论文阅读 | A Survey on Multi-Task Learning

    摘要 多任务学习(Multi-Task Learning, MTL)是机器学习中的一种学习范式,其目的是利用包含在多个相关任务中的有用信息来帮助提高所有任务的泛化性能. 首先,我们将不同的MTL算法分 ...

  7. 最新小样本学习综述 A Survey on Few-Shot Learning | 四大模型Multitask Learning、Embedding Learning、External Memory…

    目录 原文链接: 小样本学习与智能前沿 01 Multitask Learning 01.1 Parameter Sharing 01.2 Parameter Tying. 02 Embedding ...

  8. A Summary of Multi-task Learning

    A Summary of Multi-task Learning author by Yubo Feng. Intro In this paper[0], the introduction of mu ...

  9. multitask learning 相关论文资源

    Multitask Learning / Domain Adaptation homepage: http://www.cs.cornell.edu/~kilian/research/multitas ...

随机推荐

  1. linux 执行shell文件

    执行的时候总是报错 安装软件: yum install dos2unix chmod +x test.sh dos2unix test.sh 这样执行sh文件不会报一下异常,主要是因为windows中 ...

  2. JavaScript高级程序设计（第3版） 第三章 （基本概念）

    3.1 语法 1.不以数字开头的数字,字母,下划线,美元符号 2.注释:html <!-- --> css/**/ js单行// 多行/**/ 3.ES5 引入了严格模式(strict m ...

  3. JSP基础--JSP入门

    1 JSP概述 1.1 什么是JSP JSP(Java Server Pages)是JavaWeb服务器端的动态资源.它与html页面的作用是相同的,显示数据和获取数据. 1.2 JSP的组成 JSP ...

  4. C++学习笔记（一）--基础

    1.遵循标准C++,主函数类型为int,成功返回值为0,异常返回默认为-1. 2.使用系统函数库,必须加上 using namespace std,因为C++的标准库函数是在命名空间std中: 3.输 ...

  5. 异步请求jquery action

    package com.tarena.action; import java.util.HashMap;import java.util.Map; import javax.annotation.Re ...

  6. hashCode -哈希值，Object中的方法，常根据实际情况重写

    package cn.learn.collection; import cn.learn.basic.Phone; /* 哈希值:是一个十进制的整数,由系统随机给出(就是对象的地址值),是一个逻辑地址 ...

  7. git统计提交次数

    git log --since="Oct 27 9:16:10 2017 +0800"  --pretty=oneline | wc -l

  8. sed删除注释行和空行

    典型需求: 删除nginx.conf文件中注释行和空行 sed -i '/^#/d;/^$/d' nginx.conf 删除一个或多个空格加 # 号的行 sed -i '/[:blank:]*#/d' ...

  9. Newtonsoft.Json 转Json字符串为空不序列化

    原文:Newtonsoft.Json 转Json字符串为空不序列化 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://bl ...

  10. C# 字符串Trim进阶

    private void button1_Click(object sender, EventArgs e) {//去掉字符串头尾指定字符 string MyInfo= "--中华人民共和国 ...