今年开始。图神经网络(Graph Neural Networks)成为研究者讨论的焦点，作为该领域的研究人员，我甚是欣慰。记得大概三年前，图神经网络那时还受到冷落，当我和研究GAN和Transformers的同行交流时，他们认为我的研究方向极其小众。到了现在，这个领域终于守得云开见月明。因此，我将在本文向大家介绍最近的GNNs应用热点。
推荐系统
在电子商务平台中，用户与产品的交互构成图结构，因此许多公司使用图神经网络进行产品推荐。典型的做法是对用户和商品的交互关系进行建模，然后通过某种负采样损失学习节点嵌入，并通过kNN实时推荐给用户相似产品。Uber Eats 公司很早就通过这样的方式进行产品推荐，具体而言，他们使用图神经网络 GraphSage 为用户推荐食品和餐厅。
在食品推荐中，由于地理位置的限制，使用的图结构比较小。在一些包含数10亿节点的大规模图上，同样也可以使用图神经网络。使用传统方法处理如此大规模的图是非常困难的，阿里巴巴公司在包含数十亿用户和产品的网络上研究图嵌入和GNN，最近他们提出的Aligraph，仅需要五分钟就可以构建具有400M节点的图。非常强大!此外，Aligraph还支持高效的分布式图存储，对采样过程进行了优化，同时内部集成了很多GNN模型。该框架已成功用于公司的多种产品推荐和个性化搜索任务。
Pinterest 提出了 PinSage 模型，该模型使用个性化PageRank对邻域进行高效采样，并通过聚合邻域更新节点嵌入。后续模型 PinnerSage 进一步扩展了该框架来处理不同用户的多嵌入问题。受限篇幅，本文仅列出GNN在推荐系统的部分应用(其他案例还包括：Amazon在知识图谱中应用GNN或Fabula AI使用GNN检测假新闻等)，但这些足以表明，如果用户互动的信息足够丰富，那么GNNs将显著推动推荐系统中进一步发展。
组合优化
金融、物流、能源、生命科学和硬件设计等多个领域都面临组合优化(CO)问题。这些问题多数可以通过图结构进行建模，因此，过去近一个世纪的研究工作都致力于从算法层面解决CO问题。然而，机器学习的发展为CO问题的解决提供了另外一种可能性。
Google Brain 团队将GNN成功用于硬件设计，如对Google TPU芯片块的功耗、面积和性能的优化。可以将计算机芯片视为由内存和逻辑部件组成的图，每个图由其部件的坐标和类型表示。电气工程师的工作就是，在遵守密度和布线拥塞限制的同时，确定每个组件的位置。Google Brain团队结合GNN和策略/值RL实现对电路芯片布局的设计与优化，其表现优于人工设计的硬件布局。
此外，还可以将机器学习(ML)模型集成到现有求解器中。Gasse et al. 提出了一种用于学习分支定界变量选择策略(混合整数线性程序MILP求解器的关键)的图网，通过该方式能够最小化求解器的运行时间。同时论文表明，该方法既能保证推理时间，又能保证决策质量。
在DeepMind和Google的最新工作中，图网被用于MILP求解器的两个关键子任务：联合变量分配和目标值定界。在Google生产包和规划系统大规模数据集上，他们的神经网络方法比现有求解器快2–10倍。更多内容请查阅相关综述。
计算机视觉
由于世界上所有物体都是密切联系的，因此可以将GNN用于物体图像。通过场景图可以感知图像，即一组物体出现在同一场景中，那么它们之间存在联系。场景图已用在图像检，理解和推理，字幕生成，视觉问答以及图像生成等任务，从而大大提高模型的性能。
Facebook的一项研究表明，根据经典CV数据集COCO中的物体形状、位置和大小创建场景图，然后使用GNN对图中物体进行嵌入，进而结合CNN生成物体的遮罩，边框和外。最终，通过GNN / CNN可以在用户指定节点(确定节点的相对位置和大小)生成物体图像。
对于CV的经典任务——两个相关图像的匹配，之前的方法仅能通过人工实现。但现在，3D图形公司Magic Leap开发出名为SuperGlue的GNN架构，该架构可在实时视频中执行图形匹配，以完成3D重建、位置识别、本地化和制图(SLAM)等任务。SuperGlue由一个基于注意力的GNN组成，GNN学习图像关键点的表示，然后在最佳传输层对这些关键点表示进行匹配。模型可以在GPU上实现实时匹配，还能方便地集成到现有SLAM系统中。关于图形与计算机视觉的更多研究和应用，参见以下综述文章。
物理/化学
根据粒子或分子之间的相互作用构建图，然后使用GNN预测系统属性已逐渐成为生命科学中的重要研究方法。Facebook和CMU合作的Open Catalyst项目致力于找到新的方法来存储可再生能源，例如太阳能或风能。可能的方案之一是通过化学反应将这种能量转换成其他燃料，如氢气。然而，这需要发现新的、更高效的催化剂来加速化学反应，且已知的DFT方法成本极高。Open Catalyst项目开源了大规模催化剂数据集、DFT弛豫和GNN基准方法，希望找到新的、高效的、低成本催化剂分子。
DeepMind的研究人员还使用GNN来模拟复杂粒子系统(例如水或沙子)的动力学过程。通过逐步预测每个粒子的相对运动，可以合理重建整个系统的动力学，了解控制运动的基本规律。这可用于了解玻璃化转变——固态理论中最有趣的未决问题之一。此外，使用GNN不仅可以模拟过渡中的动力学，而且可以更好地了解粒子之间如何根据距离和时间产生相互影响。
此外，美国的物理实验室的Fermilab致力于应用GNNs对CERN大型强子对撞机(LHC)的结果进行分析，希望能够对数百万图像进行处理，发现并选择与新粒子相关的图像。他们的任务是将GNN部署在FPGA，并将其与数据采集器集成在一起，这样可以在全球范围内远程运行GNN。有关GNNs在粒子物理学中的更多应用，参见以下综述文章。
药物研发
制药行业竞争激烈，头部公司每年都会投入数十亿美元来开研发新药。在生物学中，图可以表示不同尺度上的相互作用，如在分子水平，图的边缘可以是分子中原子之间的键或蛋白质中氨基酸残基之间的相互作用;在更大的尺度上，图可以表示更复杂的结构(例如蛋白质，mRNA或代谢物)之间的相互作用。不同层次尺度中的图可用于目标识别，分子特性预测，高通量筛选，新型药物设计，蛋白质工程和药物再利用等。
麻省理工学院的研究人员及其合作者在Cell(2020)上发表的文章表明，GNN有助于药物研发。他们训练了名为Chemprop的深层GNN模型来预测分子是否具有抗生素特性，即对大肠杆菌的生长抑制作用。在使用FDA批准的药物库中的约2500个分子对其进行训练后，Chemprop被应用于更大的数据集，该数据集为包含Halicin分子的Drug Repurposing Hub，并根据《2001：太空漫游》电影中的HAL9000对其重命名。
需要说明的是，由于Halicin分子结构与已知的抗生素相差很大，因此先前的工作仅对该分子进行研究。但是，体内和体外临床实验表明，Halicin是一种广谱抗生素。相比NN模型进行的广泛基准测试，应用GNN发现Halicin更加显示了GNN强大的学习表征能力。除此之外，Chemprop架构也值得关注：不同于多数GNN模型，Chemprop有5层和1600隐藏层维数，远超其他GNN参数。以上介绍不过是GNN在新药发现中的冰山一角，想要了解更多信息，请查阅该综述和博客。
致谢
感谢Michael Bronstein，PetarVeličković，Andreas Loukas，Chaitanya Joshi，Vladimir Ivashkin，Boris Knyazev等人的反馈与建议。
本文转自雷锋网，如需转载请至雷锋网官网申请授权。
