2.1 谱域1. Yann LeCun的方法面对以上问题,卷积神经网络的提出者LeCun,提出了谱域(spectral)和空间域(spatial)两种方法。在'Spectral Networks and Deep Locally Connected Networks on Graphs'中,作者提出将图的Laplacian矩阵的特征向量作为基底,将样本投影到该空间后,进行卷积操作。采用超参控制每次选择的相邻节点的数量,对变化后的样本做filter和求加,再将输出结果进行拉普拉斯的逆变换,并输出非线性化后的结果。
图2:节点选择
该方法展示了在谱域进行卷积操作的可能性,并为后续的一系列图网络奠定了基础,但该方法仍存在一些问题,沈华伟指出,该方法依赖于矩阵的特征分解,且投影计算和逆变换的开销为O(n²),计算开销过大。另外,该方法并不是在局部空间上操作的,这让这种方法失去了直观上的意义。这些问题也给未来的工作提供了一系列改进的空间。2. ChebNet17年的“ChebNet: Efficient and Stable Constructions of Deep Neural Networks with Rectified Power Units using Chebyshev Approximations”使用切比雪夫多项式近似。该方法一次性解决了谱域方法中存在的三个问题。沈华伟表示,该方法避免了分解Laplacian矩阵,而是采用特征值对角矩阵作为基底。避免了使用过多自由参数导致的学习困难,同时代入计算公式减少了对特征向量矩阵U的依赖。研究证明了该方法与谱方法有同样的误差上界,且计算复杂度降低到了O(|E|),极大改善了谱方法图卷积的性能,同时启发了空间方法GCN,作为该方法的一阶近似。3. Graph Wavelet Nerual Network(GWNN)沈华伟发现,ChebNet在使用多项式近似时限制了卷积操作的自由度,使得该模型在实际使用中并不能有很好的效果。因此采用图的小波基作为基底U。由于小波变换的性质,U为一个稀疏矩阵,降低了计算开销,同时,其局部性质也使得GWNN在实际应用中展现出不错的效果。
2.3 融合《MoNet:A General Framework for Spatial Methods》给予图卷积方法一种规范化的描述。文中指出,图卷积的实质是使用参数化的权重对定义的距离矩阵加权聚合。这个框架同时给予谱方法一种新的解释,沈华伟说,相较于空间方法在原始空间定义聚合函数,谱方法在规范后实质上是对变换到新的空间中的样本进行卷积。因此谱方法可以被看作是变换空间后的空间方法,其从属于空间方法这一类别。