ICML 2022 | Graph Machine Learning 论文分享

ICML 2022 | Graph Machine Learning 论文分享

国际机器学习大会(International Conference on Machine Learning，简称ICML ) 是由国际机器学习学会（IMLS）主办的机器学习国际顶级会议 (CCF-A). ICML 2022 包含数百篇论文和许多专门针对图表的研讨会。在本篇推送中，我们将会分享分享 Graph ML 中最热门的研究领域的概述。

(Galkin, 2022)1400×778 151 KBSource:Graph Machine Learning @ ICML 2022 | by Michael Galkin | Jul, 2022 | Towards Data Science

图生成：去噪扩散就是你所需要的

去噪扩散概率模型( DDPM ) 将在 2022 年接管深度学习领域，几乎所有领域都具有惊人的生成质量和比 GAN 和 VAE 更好的理论特性，例如在图像生成（GLIDE、DALL-E 2、Imagen）、视频生成、文本生成（Diffusion-LM），甚至用于强化学习的扩散。从概念上讲，扩散模型逐渐向输入对象添加噪声（直到它是高斯噪声）并学习预测添加的噪声水平，以便我们可以从对象中减去它（去噪）

论文标题：*Equivariant Diffusion for Molecule Generation in 3D*

论文链接：https://arxiv.org/pdf/2203.17003.pdf 1

作者团队：Emiel Hoogeboom, Victor Garcia Satorras, Clement Vignac, Max Welling

论文标题：*SPECTRE: Spectral Conditioning Helps to Overcome the Expressivity Limits

of One-shot Graph Generators*

论文链接：https://arxiv.org/pdf/2204.01613.pdf

作者团队：Karolis Martinkus, Andreas Loukas, Nathanael Perraudin, Roger Wattenhofer

论文标题：*Score-based Generative Modeling of Graphs via

the System of Stochastic Differential Equations*

论文链接：https://arxiv.org/pdf/2202.02514.pdf

作者团队：Jaehyeong Jo，Seul Lee，Sung Ju Hwang

Graph Transformer

在今年的 ICML 上，有两篇关于改进 Graph Transformers 的论文。

论文标题：*Structure-Aware Transformer for Graph Representation Learning*

论文链接：https://arxiv.org/pdf/2202.03036.pdf

作者团队：Dexiong Chen， Leslie O’Bray，Karsten Borgwardt

论文标题：*From block-Toeplitz matrices to differential equations on graphs: towards a

general theory for scalable masked Transformers*

论文链接：https://arxiv.org/pdf/2107.07999.pdf

作者团队：Krzysztof Choromanski， Han Lin，Haoxian Chen，Tianyi Zhang，Arijit Sehanobish

图增强：超越边缘丢失

ICML 2022还带来了一些改善 GNN 自我监督能力的工作，这些工作超越了节点/边缘丢失等随机边缘索引扰动。

论文标题：*G-Mixup: Graph Data Augmentation for Graph Classification*

论文链接：https://arxiv.org/pdf/2202.07179.pdf

作者团队：Xiaotian Han，Zhimeng Jian，Ninghao Liu，Xia Hu

论文标题：*Local Augmentation for Graph Neural Networks*

论文链接：https://arxiv.org/pdf/2109.03856.pdf

作者团队：Songtao Liu， Rex Ying，Hanze Dong，Lanqing Li，Tingyang Xu

论文标题：*GraphFM: Improving Large-Scale GNN Training via Feature Momentum*

论文链接：https://arxiv.org/pdf/2206.07161.pdf

作者团队：Haiyang Yu，Limei Wang，Bokun Wang，Meng Liu

算法推理和图算法

论文标题：*The CLRS Algorithmic Reasoning Benchmark*

论文链接：https://arxiv.org/pdf/2205.15659.pdf

作者团队：Petar Velickovi ，Adria Puigdom，David Budden，Razvan Pascanu

论文标题：*The Algebraic Path Problem for Graph Metrics*

论文链接：https://proceedings.mlr.press/v162/sanmarti-n22a/sanmarti-n22a.pdf

作者团队：Enrique Fita Sanmart´ın，Sebastian Damrich

知识图推理

知识图推理长期以来一直是 GraphML 方法的游乐场。在今年的 ICML 上，关于这个主题的论文也不少。作为今年的趋势，我们看到了从嵌入方法（TransE、ComplEx、RotatE、HAKE）到 GNN 和逻辑规则（实际上，GNN 也与逻辑规则相关）的显着迁移。

论文标题：*Knowledge Base Question Answering by Case-based Reasoning over Subgraphs*

论文链接：https://proceedings.mlr.press/v162/das22a/das22a.pdf

作者团队：Rajarshi Das，Ameya Godbole ，Ankita Naik

论文标题：*Neuro-Symbolic Hierarchical Rule Induction*

论文链接：https://proceedings.mlr.press/v162/glanois22a/glanois22a.pdf

作者团队：Claire Glanois， Zhaohui Jiang， Xuening Feng

论文标题：*Neural-Symbolic Models for Logical Queries on Knowledge Graphs*

论文链接：https://proceedings.mlr.press/v162/zhu22c/zhu22c.pdf

作者团队：Zhaocheng Zhu，Mikhail Galkin，Zuobai Zhang

计算生物学：分子连接、蛋白质结合、性质预测

一般来说，comp bio 在 ICML 上的表现非常好。在这里，我们将了解分子连接 、蛋白质结合 、构象异构体生成和分子特性预测的新方法。

分子连接 是设计蛋白水解靶向嵌合体 (PROTAC)药物的关键部分。对我们来说，仅仅是没有生物学背景的 GNN 研究人员，这意味着给定两个分子，我们想要生成一个有效的连接 分子，它将两个片段 分子连接到一个分子中，同时保留原始片段分子的所有特性。

论文标题：*Neural-Symbolic Models for Logical Queries on Knowledge Graphs*

论文链接：https://arxiv.org/pdf/2205.07309.pdf

作者团队：Yinan Huang，Xingang Peng，Jianzhu Ma, Muhan Zhang

论文标题：*Molecular Representation Learning via Heterogeneous Motif Graph Neural

Networks*

论文链接：https://proceedings.mlr.press/v162/yu22a/yu22a.pdf

作者团队：Zhaoning Yu，Hongyang Gao

论文标题：*3D Infomax improves GNNs for Molecular Property Prediction*

论文链接：https://proceedings.mlr.press/v162/stark22a/stark22a.pdf

作者团队：Hannes Stark， Dominique Beaini，Gabriele Corso

理论和表达性 GNN

现在的GNN 社区仍然致力于研究突破 1-WL 表达能力的天花板并保持至少多项式时间复杂度的方法。同时，每当引入新的 GNN 变体时，相应的理论分析通常表明它比 1-WL 更强大，有时还会将其与经典的 k-WL 层次结构进行比较，我们能否找到更有意义的方法来衡量 GNN 的表达能力扩展？

论文标题：*SpeqNets: Sparsity-aware Permutation-equivariant Graph Networks*

论文链接：https://proceedings.mlr.press/v162/morris22a/morris22a.pdf

作者团队：Christopher Morris，Gaurav Rattan，Sandra Kiefer，Siamak Ravanbkash

论文标题：*A Theoretical Comparison of Graph Neural Network Extensions*

论文链接：https://proceedings.mlr.press/v162/papp22a/papp22a.pdf

作者团队：Pal Andr ´，Roger Wattenhofer

论文标题：*Going Deeper into Permutation-Sensitive Graph Neural Networks*

论文链接：https://proceedings.mlr.press/v162/huang22l/huang22l.pdf

作者团队：Zhongyu Huang，Yingheng Wang，Chaozhuo Li，Huiguang He

可解释的 GNN

由于大多数 GNN 模型都是黑盒子，因此解释 GNN 对关键领域应用的预测非常重要。我们总结了ICML 2022在这个方向上两篇优秀的论文

论文标题：*Interpretable and Generalizable Graph Learning via Stochastic Attention Mechanism*

论文链接：https://proceedings.mlr.press/v162/miao22a/miao22a.pdf

作者团队：Siqi Miao，Miaoyuan Liu，Pan Li

论文标题：*Efficient Higher-order Subgraph Attribution via Message Passing*

论文链接：https://proceedings.mlr.press/v162/xiong22a/xiong22a.pdf

作者团队：Ping Xiong，Thomas Schnake，Gregoire Montavon，Klaus-Robert Mulle

有趣的图应用

1.交通预测

论文标题：*DSTAGNN: Dynamic Spatial-Temporal Aware Graph Neural Network for

Traffic Flow Forecasting*

论文链接：https://proceedings.mlr.press/v162/lan22a/lan22a.pdf

作者团队：Shiyong Lan，Yitong Ma，Weikang Huang， Wenwu Wang

2.图排名

论文标题：*GNNRank: Learning Global Rankings from Pairwise Comparisons via

Directed Graph Neural Networks*

论文链接：https://arxiv.org/pdf/2202.00211.pdf

作者团队：Yixuan He，Quan Gan，David Wipf，Gesine Reinert

3.物理模拟

论文标题：*Constraint-based Graph Network Simulator*

论文链接：https://proceedings.mlr.press/v162/rubanova22a/rubanova22a.pdf

作者团队：Yulia Rubanova，Alvaro Sanchez-Gonzalez，Tobias Pfaff

Reference

Galkin, M., 2022. Graph Machine Learning @ ICML 2022 . [online] Medium. Available at: https://towardsdatascience.com/graph-machine-learning-icml-2022-252f39865c70#7cf5 [Accessed 31 August 2022]