论文地址：Multiview Transformers for Video Recognition CVPR2022 文章是基于ViViT进行改造的 1 研究背景 在图像领域，多尺度处理通过金字塔结构实现。为了视频中的时间多尺度，以前SlowFast是有了2个分支。但是使用一个金字塔结构时，时间空间信息会因为下采样会有一部分信息的丢失。比如Slo…
论文地址：ViViT: A Video Vision Transformer 0 divided attention divided attention是ViViT的先验知识，它在Is Space-Time Attention All You Need for Video Understanding?这篇文章中提出，我们知道，视频区别于图片，除了空…
论文地址：Camouflaged Object Segmentation with Distraction Mining 1 研究背景 自然界中捕食者在进行捕食一般分为三步，detection，identification，capture，作者以前两步为inspiration，创建了PFNet，P代表Position，即定位猎物，F代表Focus，…
论文地址：Attention Feature Fusion 1 研究目的 特征融合是提高CNN表达能力的一种手段，它将来自不同层次或分支的特征进行组合。什么是特征融合？简单来说，就是有两个特征图X和Y，将X和Y以一定的weight（或者说attention）融合成一个新的特征图。目前来说，特征融合存在以下问题： 不健康的初始聚合：通常，在进行X+Y…
Instance Normalization（实例规范化，简称 IN）是一种在深度学习中使用的规范化技术，最初是为了图像风格转换任务而提出的。 1 规范化范围 IN是在单个样本（实例）的每个通道（每层特征）内进行规范化，独立于其他样本。 它对每个通道内的特征进行规范化，而不是跨整个批量（如BN）或整个层（如LN）。 2 计算过程 Instance …
Batch Normalization，Layer Normalization 1 motivation 在视觉领域，其实最常用的还是BN，但BN也有缺点，通常需要比较大的Batch Size。如下图所示，蓝色的线代表BN，当batch size小于16后error明显升高（但大于16后的效果确实要更好）。对于比较大型的网络或者GPU显存不够的情况…
预备知识：Batch Normalization 1 Batch Normalization局限性 假设把中国的收入水平进行标准化（变成标准正态分布），这时中国高收入人群的收入值接近3，中收入人群的收入值接近0，低收入人群接近-3。不难发现，标准化后的相对大小是不变的，即中国富人的收入水平在标准化前和标准化后都比中国穷人高。把中国的收入水平看成一个…
为什么要使用Batch Normalization？ 使用浅层模型时，随着模型训练的进行，当每层中参数更新时，靠近输出层的输出较难出现剧烈变化。对深层神经网络来说，随着网络训练的进行，前一层参数的调整使得后一层输入数据的分布发生变化，各层在训练的过程中就需要不断的改变以适应学习这种新的数据分布。所以即使输入数据已做标准化，训练中模型参数的更新依然很…
论文地址：I Can Find You! Boundary-Guided Separated Attention Network for Camouflaged Object Detection 1 论文要解决的问题 我们人类在辨别那些伪装目标的时候，通常是先发现出前景和背景之间的微小区别，当逐渐发现他们之间的区别时，借此可以一步步发现边缘，然后通…
1 下载插件 在Wordpress插件中下载MathJax-LaTeX，并启用（不要忘记启用！！！） 2 在文章中插入公式 图片识别公式转为latex的网站：simpletex 2.1 行内公式 使用截图工具截出你想添加的公式，比如我想要在当前行内添加数学式子： 把图片复制/上传到网站上 如果我们想要在行内写公式，则要复制圆形括号格式的latex，…