GCNet：当Non | 合法醫療器材資訊網

2020年11月17日—GCblock的3个步骤为：.(a)globalattentionpooling用于上下文建模。(b)bottlenecktransform来捕获通道间依赖。(c)broadcast ...

欢迎关注Smarter公众号[1]

好文！非常insight！研究思路类似于DPN，DPN深入探讨了ResNet和DenseNet的优缺点，然后结合ResNet和DenseNet的优点提出了DPN，同样GCNet深入探讨了Non-local和SENet的优缺点，然后结合Non-local和SENet的优点提出了GCNet。

为了捕获长距离依赖关系，产生了两类方法：

第一种是采用自注意力机制来建模query对的关系。

第二种是对query-independent(可以理解为无query依赖)的全局上下文建模。

NLNet就是采用自注意力机制来建模像素对关系。然而NLNet对于每一个位置学习不受位置依赖的attention map，造成了大量的计算浪费。

SENet用全局上下文对不同通道进行权值重标定，来调整通道依赖。然而，采用权值重标定的特征融合，不能充分利用全局上下文。

通过严格的实验分析，作者发现non-local network的全局上下文在不同位置几乎是相同的，这表明学习到了无位置依赖的全局上下文。

基于上述观察，本文提出了GCNet，即能够像NLNet一样有效的对全局上下文建模，又能够像SENet一样轻量。

non-local block旨在从其...