历安毛子枚大学 图神经网络（下） XIDIAN UNIVERSITY 1.GraphSAGE 2.深度整合网络： Deep Aggregate Network(DAN)
1.GraphSAGE 2. 深度整合网络： Deep Aggregate Network(DAN) 图神经网络（下） 2
历些毛子代拔大学 (1) GraphSAGE XIDIAN UNIVERSITY GraphSAGE:一个经典的基于空间的图神经网络 ● GraphSAGE是用于节点分类任务的图神经网络 ●SAGE来源于(SAmple and aggreGatE),即对图的抽样与整合。主要包括两 个步骤：节点嵌入表示矢量的产生和参数的训练。 William L.Hamilton,Rex Ying,Jure Leskovec,"Inductive Representation Learning on Large Graphs",NIPS 2017 3
（1） GraphSAGE 3 GraphSAGE：一个经典的基于空间的图神经网络 GraphSAGE 是用于节点分类任务的图神经网络 SAGE 来源于(SAmple and aggreGatE), 即对图的抽样与整合。主要包括两 个步骤：节点嵌入表示矢量的产生和参数的训练。 William L. Hamilton, Rex Ying, Jure Leskovec, “Inductive Representation Learning on Large Graphs”, NIPS 2017
历安毛子代枚大学 (1)GraphSAGE XIDIAN UNIVERSITY GraphSAGE:一个经典的基于空间的图神经网络 1节点嵌入表达矢量的产生 Algorithm 1:GraphSAGE embedding generation(i.e.,forward propagation)algorithm Input Graph gV,)input features};depth K;weight matrices Wk {1,..);non-linearity o;differentiable aggregator functions AGGREGATE,.∀k∈{1，，K;neighborhood functionN:v→2y Output:Vector representations z for all v EV 1hg←xu,∈V; 2 for k 1...K do 3 forv∈Vdo 4 h统O←AGGREGATE(({h-1,L∈N(}): 5 蓝←o(W.CONCAT(h-1,ho 6 end 7 h的←h/川hl2,u∈y 8 end 9u←h5,u∈V
（1） GraphSAGE 4 GraphSAGE：一个经典的基于空间的图神经网络 1 节点嵌入表达矢量的产生
历安毛子代枚大等 (1)GraphSAGE XIDIAN UNIVERSITY 如图所示，模型中有K个整合函数，分别记为AGGREGATE,还有K个权矩阵 W,k∈{1，.，K。整合函数用于从邻居节点整合信息，与自身信息拼接，通 过加权矩阵得到当前自身的表示。在这个阶段，总是认为模型的参数是固定的 (已经训练好的)，具体来说，就是模型的K个整合函数的参数是已知的。 Algorithm 1:GraphSAGE embedding generation(i.e.,forward propagation)algorithm Input Graph G(V,E);input features {x,Vv V;depth K;weight matrices W,1,.);non-linearity o;differentiable aggregator functions AGGREGATEK,∀k∈{1，，K};neighborhood function:v→2y Output:Vector representations z for all vV 1hg←xm,u∈V; 2 for =1...K do 3 forv∈Vdo 4 h回←AGGREGATEk({h-1,u∈N(u}: h暗←a(W.CONCAT(h-1,ho） 6 end 7 h5←h5/川hll2,oey 8 end 5 9zw←h,uey
（1） GraphSAGE 5 如图所示，模型中有K个整合函数，分别记为AGGREGATEk，还有K个权矩阵 Wk ， k∈{1,…,K}。整合函数用于从邻居节点整合信息，与自身信息拼接，通 过加权矩阵得到当前自身的表示。在这个阶段，总是认为模型的参数是固定的 （已经训练好的），具体来说，就是模型的K个整合函数的参数是已知的
历安毛子代枚大” (1)GraphSAGE XIDIAN UNIVERSITY 在图中，网络的图G={V,E}以及节点的特征x是输入。h代表在第k步节点y, 的表示。可以看出，每一次迭代，每个节点从它的邻居节点整合信息，随着 迭代次数增加（或者搜索深度的增加），图中距离一个节点更远的信息不断 整合到节点中。 第一步：邻居表达整合。每个节点v整合它的直接邻居节点的表达{h, y,∈N()},形成一个矢量hm。可以看到，第步整合的结果依赖于上一步( k-1步)的节点的表达，在k=0时的节点的表达是节点的特征x。 ·第二步：拼接。将邻居表达整合结果hm与节点的上一步表达hl进行拼接 ,形成拼接矢量CONCAT(h,hMm)。 第三步：全连接层。拼接矢量通过全连接层（参数W)，以非线性激活函数 o输出，形成节点y,的当前层表达h。 第四步：当k=K时，形成最终节点的表达z=hK。 6
（1） GraphSAGE 6 • 在图中，网络的图G={V,E}以及节点的特征xi是输入。hvi k代表在第k步节点vi 的表示。可以看出，每一次迭代，每个节点从它的邻居节点整合信息，随着 迭代次数增加（或者搜索深度的增加），图中距离一个节点更远的信息不断 整合到节点中。 • 第一步：邻居表达整合。每个节点vi整合它的直接邻居节点的表达{hvj k-1 , vj∈N(vi )},形成一个矢量hN(vi) k。可以看到，第k步整合的结果依赖于上一步（ k-1步）的节点的表达，在k=0时的节点的表达是节点的特征xi。 • 第二步：拼接。将邻居表达整合结果hN(vi) k与节点的上一步表达hvi k-1进行拼接 ，形成拼接矢量CONCAT(hvi k-1 , hN(vi) k )。 • 第三步：全连接层。拼接矢量通过全连接层（参数W），以非线性激活函数 σ输出，形成节点vi的当前层表达hvi k 。 • 第四步：当k=K时，形成最终节点的表达zvi=hvi K