标签: 注意力机制

注意力机制

17 篇文章

thumbnail
Attention Feature Fusion
论文地址:Attention Feature Fusion 1 研究目的 特征融合是提高CNN表达能力的一种手段,它将来自不同层次或分支的特征进行组合。什么是特征融合?简单来说,就是有两个特征图X和Y,将X和Y以一定的weight(或者说attention)融合成一个新的特征图。目前来说,特征融合存在以下问题: 不健康的初始聚合:通常,在进行X+Y…
thumbnail
I Can Find You! Boundary-Guided Separated Attention Network for Camouflaged Object Detection
论文地址:I Can Find You! Boundary-Guided Separated Attention Network for Camouflaged Object Detection 1 论文要解决的问题 我们人类在辨别那些伪装目标的时候,通常是先发现出前景和背景之间的微小区别,当逐渐发现他们之间的区别时,借此可以一步步发现边缘,然后通…
thumbnail
Mutual Graph Learning for Camouflaged Object Detection
论文地址:Mutual Graph Learning for Camouflaged Object Detection 1 研究动机 现在的伪装目标检测一般分为两块,一是伪装目标的识别,二是伪装目标轮廓的检测,前者通常是主任务,后者通常是辅助任务,下图中,左图是轮廓检测,右图是伪装目标识别(区域检测) 现在的大多数模型中,伪装目标识别(COD)与轮…
thumbnail
Attention Is All You Need(Transformer)
原论文链接:Attention Is All You Need 1 背景 在机器转录和语言建模上,RNN和CNN都有着广泛的应用。在RNN中,输入是按照顺序一个个输入进网络进行计算,encoder每个节点计算得到hidden state作为下一时刻的输入,decoder也是如此,一个词一个词往外蹦,但是这种模型无法进行并行化计算,并且当序列比较长的…
thumbnail
注意力机制
什么是注意力机制?给定一篇很长的文章,然后就此文章进行提问,提出的问题只和段落中的一两个句子相关,其余部分都是无关的,为了减小神经网络的负担,只需要把相关的片段挑选出来让后续的神经网络来处理,而不需要把所有文章都输给神经网络 1.计算感兴趣的输入向量 给定输入向量从\([x_{1},\cdots,x_{N}]\)中选出和某个特定任务相关的信息,需要…