notekeras

my blog

attention, transformer, bert 等都是从大神CyberZHG学习来的， 主要是因为想学习源码并进行一些标注，所以进行了一些翻译、标注和整合

yolo 参考 keras-yolo3, keras-yolo3

Attention

ScaledDotProductAttention

参考论文

$$\text{Attention}(Q, K, V) = \text{softmax}(\frac{Q K^T}{\sqrt{d_k}}) V$$

SeqSelfAttention

参考论文

multiplicative

$$e_{t, t'} = x_t^T W_a x_{t'} + b_a$$

$$a_{t} = \text{softmax}(e_t)$$

$$l_t = \sum_{t'} a_{t, t'} x_{t'}$$

additive

$$h_{t, t'} = \tanh(x_t^T W_t + x_{t'}^T W_x + b_h)$$

$$e_{t, t'} = W_a h_{t, t'} + b_a$$

$$a_{t} = \text{softmax}(e_t)$$

$$l_t = \sum_{t'} a_{t, t'} x_{t'}$$

SeqWeightedAttention

参考论文

$$Y = \text{softmax}(XW + b) X$$

MultiHeadAttention

参考论文