主要是在视觉领域以及二维的feature map上的注意力机制,不同于1D数据,一般不会用q,k,v来算.总结一下cv中attention的发展.

Coordinate Attention

参考资料

1. 2111.07624.pdf (arxiv.org) 综述
2. 2112.05561.pdf (arxiv.org)
3. 1807.06521.pdf (arxiv.org)
4. 2103.02907.pdf (arxiv.org)
5. 1811.11721.pdf (arxiv.org)
6. arxiv.org/pdf/1711.07971.pdf
7. 1709.01507.pdf (arxiv.org)
8. 1903.06586.pdf (arxiv.org)
9. Convolution-Attention Mechanism Fusion (mlrad.io)