notekeras my blog attention, transformer, bert 等都是从大神CyberZHG学习来的， 主要是因为想学习源码并进行一些标注，所以进行了一些翻译、标注和整合 yolo 参考 keras-yolo3, keras-yolo3 Attention ScaledDotProductAttention 参考论文 $$\text{Attention}(Q, K, V) = \text{softmax}(\frac{Q K^T}{\sqrt{d_k}}) V$$ SeqSelfAttention 参考论文 multiplicative $$e_{t, t'} = x_t^T W_a x_{t'} + b_a$$ $$a_{t} = \text{softmax}(e_t)$$ $$l_t = \sum_{t'} a_{t, t'} x_{t'}$$ additive $$h_{t, t'} = \tanh(x_t^T W_t + x_{t'}^T W_x + b_h)$$ $$e_{t, t'} = W_a h_{t, t'} + b_a$$ $$a_{t} = \text{softmax}(e_t)$$ $$l_t = \sum_{t'} a_{t, t'} x_{t'}$$ SeqWeightedAttention 参考论文 $$Y = \text{softmax}(XW + b) X$$ MultiHeadAttention 参考论文