tpami24-parallel.md

Parallel and distributed graph neural networks: An in-depth concurrency analysis

[返回主页]

作者信息

Maciej Besta, Torsten Hoefler (ETH Zurich)

研究背景

图神经网络作为一种处理图数据的强大工具，能够解决节点分类、图分类和链接预测等复杂问题。然而，GNN的推理和训练过程涉及到的计算特性非常复杂，例如不规则的图处理和密集的数值计算的结合，这对现代大规模并行计算架构的效率构成了挑战。

主要贡献

为了克服上述挑战，该工作首先设计了一个GNN并行计算的分类体系，考虑了数据并行和模型并行，以及不同形式的流水线处理。基于此，进一步探讨了多种GNN模型、基于GNN的机器学习任务、软件框架和硬件加速器并行。通过使用深度模型和评估通信量及同步性，详细分析了这些系统的并行执行策略，并探讨了如何通过矢量化等技术有效应用并行化机制。主要目标是通过形式化的并行分析和流水线处理的推广，为未来高效的GNN计算提供指导，从而推动未来GNN设计的发展。研究成果不仅为GNN性能提升提供了独特见解，还列出了一系列研究挑战和机会，为进一步的研究提供了方向。将推动下一代GNN系统的开发，使其在现代架构上执行得更加高效。