title: Graph-Based Social Relation Reasoning, 2020

task: we propose a simpler, faster, and more accurate method named graph relational reasoning network (GR2N) for social relation recognition.

abstract: Understanding social relations from an image has great potential for intelligent systems such as social chatbots and personal assistants.  Different from existing methods that process all social relations on an image independently, our method considers the paradigm of jointly inferring the relations by constructing a social relation graph.  Furthermore, the proposed GR2N constructs several virtual relation graphs to explicitly grasp the strong logical constraints among different types of social relations.

通过图像来理解社会关系对于智能系统,如社交聊天机器人和个人助理有着巨大的潜力。不同于现有的在一个图像上独立处理所有社会关系的方法,我们的方法考虑了通过构造一个社会关系图来共同推断关系的范式。此外,所提出的GR2N构造了若干虚拟关系图,以显式地把握不同类型社会关系之间的强逻辑约束。

由于潜在的隐私风险警告等广泛的应用,人们对在给定的静止图像中理解人与人之间的关系越来越感兴趣, 智能自主系统[52],群活性分析[19]。

由于社会关系通常形成一个合理的社会场景,它们不是相互独立的,而是高度相关的。 独立地预测同一图象上的关系,需要从社会场景的高局部性出发,这可能会导致社会关系图的不合理和矛盾。(Independently predicting the relations on the same image suffers from the high locality in social scenes, which may result in an unreasonable and contradictory social relation graph.)

为此,我们认为,共同推断每个图像的所有关系有助于构建一个合理的、一致的社会关系图,同时对社会场景有一个透彻的理解。

To this end, we consider that jointly inferring all relations for each image helps construct a reasonable and consistent social relation graph with a thorough understanding of the social scene.

此外,由于同一图像上的社会关系往往遵循较强的逻辑约束 logical constraints,,同时考虑所有关系可以有效地利用这些关系的一致性。

显然,同一图像上的关系在推理中是相互帮助的,这在现有的方法中并没有作为一个重要的线索加以利用。

we propose a graph relational reasoning network (GR2N)

现有的gnn方法大多只是通过消息传递来利用上下文信息,无法明确把握不同类型社会关系之间的逻辑约束。(Most existing GNNs' methods simply exploit contextual information via message passing, which fails to explicitly grasp the logical constraints among different types of social relations.)

为了利用强逻辑约束,提出的GR2N用共享节点表示为不同的关系类型构造不同的虚拟关系图。(To exploit the strong logical constraints, the proposed GR2N constructs different virtual relation graphs for different relation types with shared node representations.)

我们的方法在每个虚拟关系图上学习特定于类型的消息,并通过汇总所有虚拟关系图上的所有邻居消息来更新节点表示。 最后,节点的最终表示可用来预测图上所有节点对的关系。Our method learns type-specificc messages on each virtual relation graph and updates the node representations by aggregating all neighbor messages across all virtual relation graphs. In the end, the final representations of nodes are utilized to predict the relations of all pairs of nodes on the graph.

Graph-Based Social Relation Reasoning的更多相关文章

  1. social relation & recommender system

    由于社交网络盛行,现在许多关于推荐系统的研究都考虑了如何使用social relation来改进推荐系统.虽然有很多论文都成功的使用social relation改进了推荐效果,然而,也有一些尝试失败 ...

  2. Graph Based SLAM 基本原理

    作者 | Alex 01 引言 SLAM 基本框架大致分为两大类:基于概率的方法如 EKF, UKF, particle filters 和基于图的方法 .基于图的方法本质上是种优化方法,一个以最小化 ...

  3. 论文阅读-Temporal Phenotyping from Longitudinal Electronic Health Records: A Graph Based Framework

  4. Visualizing MNIST with t-SNE, MDS, Sammon’s Mapping and Nearest neighbor graph

    MNIST 可视化 Visualizing MNIST: An Exploration of Dimensionality Reduction At some fundamental level, n ...

  5. Survey of single-target visual tracking methods based on online learning 翻译

    基于在线学习的单目标跟踪算法调研 摘要 视觉跟踪在计算机视觉和机器人学领域是一个流行和有挑战的话题.由于多种场景下出现的目标外貌和复杂环境变量的改变,先进的跟踪框架就有必要采用在线学习的原理.本论文简 ...

  6. {ICIP2014}{收录论文列表}

    This article come from HEREARS-L1: Learning Tuesday 10:30–12:30; Oral Session; Room: Leonard de Vinc ...

  7. CVPR 2017 Paper list

    CVPR2017 paper list Machine Learning 1 Spotlight 1-1A Exclusivity-Consistency Regularized Multi-View ...

  8. zz【清华NLP】图神经网络GNN论文分门别类,16大应用200+篇论文最新推荐

    [清华NLP]图神经网络GNN论文分门别类,16大应用200+篇论文最新推荐 图神经网络研究成为当前深度学习领域的热点.最近,清华大学NLP课题组Jie Zhou, Ganqu Cui, Zhengy ...

  9. ### Paper about Event Detection

    Paper about Event Detection. #@author: gr #@date: 2014-03-15 #@email: forgerui@gmail.com 看一些相关的论文. 1 ...

随机推荐

  1. Odoo 服务器搭建备忘

    前提 OS:Ubuntu 20.04LTS Odoo:14旗舰版 数据库:Postgres13.0 *数据库和Odoo安装在一台服务器 系统设置 为了Log日志时间好看,进行系统时区设置 # 查看可用 ...

  2. VXLAN大数据中心组网

    目录: 一.什么是vxlan 二.为什么要用vxlan,解决了什么痛点 三.vxlan与vlan之间有什么不同 四.如何建立vxlan隧道 五.vxlan的网关有哪些种类 六.vxlan在报文中如何转 ...

  3. [AcWing 788] 逆序对的数量

    点击查看代码 #include<iostream> using namespace std; typedef long long ll; const int N = 1e5 + 10; i ...

  4. socket编程实现tcp服务器_C/C++

    1. 需求分析 实现一个回声服务器的C/S(客户端client/服务器server)程序,功能为客户端连接到服务器后,发送一串字符串,服务器接受信息后,返回对应字符串的大写形式给客户端显示. 例如: ...

  5. Java学习笔记-基础语法Ⅴ

    学习一些Java常用的API Math:包含执行基本数字运算的方法 如果没有构造方法,一般类的成员都是静态的,通过类名可以直接调用 Java中有两种random函数,Math.Random()函数能够 ...

  6. 基于dhtmlxGantt的Blazor甘特图组件

    基于dhtmlxGantt实现的甘特图组件,目前仅做到了数据展现,方法及插槽暂未实现,若需可按照dhtmlxGantt的文档及微软的Balzor文档,自行扩展. 数据发生变化后甘特图会立即发生变化. ...

  7. drools中query的使用

    一.背景 我们知道在drools中是存在工作内存的,我们的Fact对象会加入到工作内存中,同时我们自己也可以在drl文件中使用insert/modify/update/delete等方法,修改工作内存 ...

  8. 关于我开发tinymce的自由表单、病历插件这件事

    项目地址:https://gitee.com/zhao-xuhang/tinymce 1.前期准备 这是个vue2项目所以要使用vue-cli (虽然开发tinymce插件和这个没关系) 1. 使用n ...

  9. 04C++核心编程

    Day01 笔记 1 C++概述 1.1 C++两大编程思想 1.1.1 面向对象 1.1.2 泛型编程 1.2 移植性和标准 1.2.1 ANSI 在1998制定出C++第一套标准 2 c++初识 ...

  10. 基于.NetCore开发博客项目 StarBlog - (9) 图片批量导入

    系列文章 基于.NetCore开发博客项目 StarBlog - (1) 为什么需要自己写一个博客? 基于.NetCore开发博客项目 StarBlog - (2) 环境准备和创建项目 基于.NetC ...