DGraph: A Large-Scale Financial Dataset for Graph Anomaly Detection

DGragh是一个用于图异常检测(gragh anomaly detection, GAD)的大型金融数据集

它包含300w个节点、400w个动态边和100w个ground-truth节点。

作者在关注的问题

大领域:图异常检测(GAD)

现实世界场景中,异常是普遍存在的且具有破坏性的。作者举了一个电汇欺诈的例子:2020年电汇欺诈者造成了高达1.8万亿美元的损失。然而,只有12%-15%的案件被报告,且只有29%的受害者能完全追回资金。因此,研究GAD可以帮助预防和检测这些欺诈者的存在。

中领域:GAD中的异常节点检测

在GAD中具有代表性

目前领域中数据集的困难

GAD数据集的主要要求:缩小学术界和工业界之间的差距

由于现实世界中异常的稀缺性,只有少数公共数据集同时具有图结构和异常的ground-truth标注,所以丰富GAD的多样性是当前GAD研究的基础工作。

从一些具有代表性但当前未被覆盖的领域收集数据集可以大大加快这一过程,因此本文关注金融欺诈检测。

小领域:金融欺诈检测

当前GAD数据集存在的一些局限性:

  1. 规模小
  2. 忽略了图的时间动态
  3. 现实世界场景中,并不是所有节点都需要去被分类/预测的

作者针对这三个问题进行了优化。

因此,以下是对DGragh的简单介绍:

  1. DGragh有300万个节点以及400万条边,且有100万个真实异常标注
  2. 由于在现实场景中并不是所有的节点都需要被分类/预测,但是移除节点又会失去丰富的信息并损害网络结构的连通性,因此,DGragh将这些节点称为background节点,其他称为target节点。DGragh保留了超过200万个background节点(指的是那些由于缺乏借贷行为而不是检测目标的用户)
  3. DGragh中一个节点代表一个Finvolution用户,从一个用户到另一个用户的边表示该用户将另一用户设置为紧急联系人。
  4. DGragh包含丰富的动态信息

DGragh

raw data

总结而言,特定用户的原始数据包括五个组成部分:

(1)用户ID。

(2)基本个人资料信息,如年龄、性别等。

(3)电话号码;注意,每个账户都与特定电话号码匹配。

(4)借贷行为,包括还款到期日和实际还款日期。

(5)紧急联系人,包括每个联系人的姓名、电话号码和最后更新时间。

欺诈者

金融欺诈者经常提供虚假的个人信息,其中一些可能还有奇怪的社交网络(与普通用户相比),还有一些在平台操作上表现异常。

节点特征

源自基本个人资料的节点特征是一个17维的向量,每个维度对应个人资料的一个不同元素(如年龄和性别)。为了保护用户隐私,作者不透露任何维度的具体意义。缺失值被标记为“-1”。

在构建过程中,紧急联系人仅保留那些是Finvolution用户的,以保护用户隐私。

labeling nodes

DGragh中有32.2%节点有相关的借贷记录。

定义:至少有一次,在到期日后很长时间不还款并忽视平台多次提醒的用户为异常/欺诈者。

另一部分借款用户是正常用户,而另一部分没有借贷行为的用户被标记为“背景节点”。

对异常节点和正常节点的观察

  1. 欺诈者和正常用户的平均入度相似,但是平均出度差距显著。正常用户的平均出度是欺诈者的2.33倍。
  2. 欺诈者在出边上的邻居相似性低于正常用户
  3. 缺失值个数的不同
  4. 相同出度下,欺诈者的出边平均时间低于正常用户——表明欺诈者更可能在短时间内填写他们的紧急联系人信息

文章中还有对背景节点的研究,这里不再赘述。

实验 on DGragh

作者围绕以下三个问题:

Q1:当前的GAD模型在DGraph上的表现如何?

Q2:如何处理DGraph的缺失值?

Q3:DGraph的背景节点有多重要?

结论见论文。


基础知识

异构GNN中的“异构”怎么理解?

在异构GNN(Heterogeneous Graph Neural Networks)中,“异构”指的是图的节点或边的类型多样性。与传统的同构图(Homogeneous Graph)不同,异构图包含多种类型的节点和/或多种类型的边。这种多样性通常可以更好地表示复杂的关系和信息结构。

具体来说,异构图中的异构性主要体现在:

  1. 节点异构性:图中存在不同类型的节点。例如,在一个社交网络中,节点可以代表“用户”、“帖子”或“评论”。

  2. 边异构性:图中存在不同类型的边,表示不同的关系或交互。例如,在同一个社交网络中,边可以表示“用户关注用户”、“用户点赞帖子”或“用户评论帖子”。

异构GNN旨在利用这种多样性,通过设计特定的网络结构或机制来有效地捕捉和利用不同类型节点和边之间的复杂关系,从而提高对异构数据的建模能力。

【241027-论文阅读】DGraph: A Large-Scale Financial Dataset for Graph Anomaly Detection的更多相关文章

  1. 论文笔记之:Large Scale Distributed Semi-Supervised Learning Using Streaming Approximation

    Large Scale Distributed Semi-Supervised Learning Using Streaming Approximation Google  2016.10.06 官方 ...

  2. 论文笔记:Chaotic Invariants of Lagrangian Particle Trajectories for Anomaly Detection in Crowded Scenes

    [原创]Liu_LongPo 转载请注明出处 [CSDN]http://blog.csdn.net/llp1992 近期在关注 crowd scene方面的东西.由于某些原因须要在crowd scen ...

  3. 论文阅读(Xiang Bai——【CVPR2015】Symmetry-Based Text Line Detection in Natural Scenes)

    Xiang Bai--[CVPR2015]Symmetry-Based Text Line Detection in Natural Scenes 目录 作者和相关链接 方法概括 创新点和贡献 方法细 ...

  4. 论文阅读笔记五十一:CenterNet: Keypoint Triplets for Object Detection(CVPR2019)

    论文链接:https://arxiv.org/abs/1904.08189 github:https://github.com/Duankaiwen/CenterNet 摘要 目标检测中,基于关键点的 ...

  5. 论文阅读笔记三十三:Feature Pyramid Networks for Object Detection(FPN CVPR 2017)

    论文源址:https://arxiv.org/abs/1612.03144 代码:https://github.com/jwyang/fpn.pytorch 摘要 特征金字塔是用于不同尺寸目标检测中的 ...

  6. 论文阅读笔记二十七:Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks(CVPR 2016)

    论文源址:https://arxiv.org/abs/1506.01497 tensorflow代码:https://github.com/endernewton/tf-faster-rcnn 室友对 ...

  7. 【计算机视觉】【神经网络与深度学习】论文阅读笔记:You Only Look Once: Unified, Real-Time Object Detection

    尊重原创,转载请注明:http://blog.csdn.net/tangwei2014 这是继RCNN,fast-RCNN 和 faster-RCNN之后,rbg(Ross Girshick)大神挂名 ...

  8. 论文阅读之:Is Faster R-CNN Doing Well for Pedestrian Detection?

    Is Faster R-CNN Doing Well for Pedestrian Detection? ECCV 2016   Liliang Zhang & Kaiming He 原文链接 ...

  9. 【论文阅读】A practical algorithm for distributed clustering and outlier detection

    文章提出了一种分布式聚类的算法,这是第一个有理论保障的考虑离群点的分布式聚类算法(文章里自己说的).与之前的算法对比有以下四个优点: 1.耗时短O(max{k,logn}*n), 2.传递信息规模小: ...

  10. 大规模视觉识别挑战赛ILSVRC2015各团队结果和方法 Large Scale Visual Recognition Challenge 2015

    Large Scale Visual Recognition Challenge 2015 (ILSVRC2015) Legend: Yellow background = winner in thi ...

随机推荐

  1. Gradle 项目打开自动下载Zip问题及相关配置

    原因 : 由于使用Eclipse开发,导入了SpringCloud 工程,SpringCloud 自从哪个版本忘了昂,选择了Gradle 作为工程管理工具,至于为啥,你去问问官方,我的了解是为了支持G ...

  2. MYSQL——mysql检索不包含字母U的数据

    2024/07/09 1. NOT LIKE 2. IS NOT.<>.!= 3. NOT IN 如题,正确答案如下: SELECT * FROM your_table_name WHER ...

  3. 【ETL工具】DataX + DataXWeb 初使用过程记录

    版本:DataX v202309  DataXWeb 2.1.3预发布版 DataX: Github:https://github.com/alibaba/DataX 功能介绍文档:https://g ...

  4. 丝滑解决Chatgpt频繁奔溃、断网掉线问题

    事件缘由 这段时间使用Chatgpt的时候频繁出现something wrong等断网掉线问题,中间还频繁出现物品转向的人机验证(我那么具有迷惑性吗...),被烦的不行.后面了解到有一个KeepCha ...

  5. 如何在 Web 前端做 3D 音效处理

    ​ 一.背景 在社交元宇宙.大逃杀等类型的游戏场景下,用户在通过简单语音交流外,结合场景也需要一些立体声效果来让用户感知游戏角色周围其他用户的存在及其对应的距离和方位,提高语音互动的趣味性. 为了满足 ...

  6. JS处理html的编码(encode)与解码(decode)

    一.用浏览器内部转换器实现转换 代码: var HtmlUtil = { // 1.用浏览器内部转换器实现html编码 htmlEncode: function(html) { // 创建一个元素容器 ...

  7. PDF解析,还能做得更好

    随着大模型文档智能应用逐渐步入正轨,文档解析类产品成为其中重要的一环.文档解析工具能够"唤醒"沉睡在PDF文件中的知识,将其转化为机器能够识别.读取的信息,将可用数据从txt.cs ...

  8. AI老照片修复神器,Anole下载介绍

    最近AI老照片修复上色,再一次火出圈,一些社交平台关于此话题内容流量满满,尤其是在小红书和抖音火的不得了,本期文章就来给大家分享下AI修复老照片的方式方法 本文主要介绍使用Anole修复老照片的方法, ...

  9. IT男如何走上的自由职业之路。

    前言 在博客园的一篇文章<40岁大龄失业程序猿,未来该何去何从>,在下面留言,目前自己在做自由职业,很多人加好友咨询自由职业的事情,对IT行业自由职业比较感兴趣,问怎么能走上这条路,所以才 ...

  10. Python计算傅里叶变换

    技术背景 傅里叶变换在几乎所有计算相关领域都有可能被使用到,例如通信领域的滤波.材料领域的晶格倒易空间计算还有分子动力学中的倒易力场能量项等等.最简单的例子来说,计算周期性盒子的电势能\(k\sum_ ...