论文地址：ViViT: A Video Vision Transformer 0 divided attention divided attention是ViViT的先验知识，它在Is Space-Time Attention All You Need for Video Understanding?这篇文章中提出，我们知道，视频区别于图片，除了空…
论文地址：Camouflaged Object Segmentation with Distraction Mining 1 研究背景 自然界中捕食者在进行捕食一般分为三步，detection，identification，capture，作者以前两步为inspiration，创建了PFNet，P代表Position，即定位猎物，F代表Focus，…
论文地址：Attention Feature Fusion 1 研究目的 特征融合是提高CNN表达能力的一种手段，它将来自不同层次或分支的特征进行组合。什么是特征融合？简单来说，就是有两个特征图X和Y，将X和Y以一定的weight（或者说attention）融合成一个新的特征图。目前来说，特征融合存在以下问题： 不健康的初始聚合：通常，在进行X+Y…
论文地址：I Can Find You! Boundary-Guided Separated Attention Network for Camouflaged Object Detection 1 论文要解决的问题 我们人类在辨别那些伪装目标的时候，通常是先发现出前景和背景之间的微小区别，当逐渐发现他们之间的区别时，借此可以一步步发现边缘，然后通…
原论文地址：AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 1 背景 Transformer在NLP领域取得了很好的效果，并成为许多NLP任务中的最新方法。但是在图像识别领域，自注意力机制在图像领域上的“Naive application”要求每个像…
论文地址：Mutual Graph Learning for Camouflaged Object Detection 1 研究动机 现在的伪装目标检测一般分为两块，一是伪装目标的识别，二是伪装目标轮廓的检测，前者通常是主任务，后者通常是辅助任务，下图中，左图是轮廓检测，右图是伪装目标识别（区域检测） 现在的大多数模型中，伪装目标识别（COD）与轮…
原论文链接：Attention Is All You Need 1 背景 在机器转录和语言建模上，RNN和CNN都有着广泛的应用。在RNN中，输入是按照顺序一个个输入进网络进行计算，encoder每个节点计算得到hidden state作为下一时刻的输入，decoder也是如此，一个词一个词往外蹦，但是这种模型无法进行并行化计算，并且当序列比较长的…
什么是注意力机制？给定一篇很长的文章，然后就此文章进行提问，提出的问题只和段落中的一两个句子相关，其余部分都是无关的，为了减小神经网络的负担，只需要把相关的片段挑选出来让后续的神经网络来处理，而不需要把所有文章都输给神经网络 1.计算感兴趣的输入向量 给定输入向量从\([x_{1},\cdots,x_{N}]\)中选出和某个特定任务相关的信息，需要…