请教，shardfomer中GPT2FusedLinearConv1D_Col为什么反向做了两次allreduce #4961
Replies: 3 comments 3 replies
-
|
@lichenlu TP的时候，是在column parallel layer中，input在forward时不做任何操作在backward时reduce梯度，相对地，在row parallel layer中output在forward时需要reduce，在backward时不做任何操作。也就是说，像 |
Beta Was this translation helpful? Give feedback.
-
|
现在reduce_backward中在反向的时候有一次allreduce操作（前向没有任何操作），但是matmul_with_async_comm的backward中仍然有一次allreduce操作，我的疑问是这两次allreduce是否重复 |
Beta Was this translation helpful? Give feedback.
-
|
@FrankLeeeee 这个细节能帮忙解释一些么 |
Beta Was this translation helpful? Give feedback.
-
|
在GPT2FusedLinearConv1D_Col中，ctx.async_grad_allreduce默认值为False，所以matmul_with_async_comm的allreduce没有被执行，总共还是只执行了一次。 |
Beta Was this translation helpful? Give feedback.
-
|
哦，谢谢，确实默认是false的，是我没有看仔细。不过理论上这里其实也可以使用async allreduce？ |
Beta Was this translation helpful? Give feedback.
-
|
嗯嗯，是的 |
Beta Was this translation helpful? Give feedback.
-
如图，GPT2FusedLinearConv1D_Col的forward函数中使用了两个function，reduce_backward和matmul_with_async_comm，这两个函数在backward的时候都进行了allreduce操作，这里是否发生了冗余？
Beta Was this translation helpful? Give feedback.
All reactions