跟踪通常采用特征提取、目标信息集成和包围盒估计的多级流程。为了简化这一流程，并统一特征提取和目标信息集成的过程，我们提出了一个紧凑的跟踪框架，称为MixFormer。我们的核心设计是利用注意力操作的灵活性，提出了一种混合注意模块(MAM)，用于特征提取和目标信息集成。该同步建模方案可以提取特定目标的判别性特征，并在目标和搜索区域之间进行广泛的通信。在MAM的基础上，我们通过叠加多个MAM，逐步嵌入patch，并在其上放置一个定位头来构建MixFormer跟踪框架。此外，为了在在线跟踪过程中处理多个目标模板，我们设计了一种非对称注意方案来降低计算成本，并提出了一种有效的分数预测模块来选择高质量的模板。我们的MixFormer在5个跟踪基准上设置了新的最先进的性能，包括LaSOT、TrackingNet、VOT2020、GOT-10k和UAV123。特别是mixer - l在LaSOT上的NP分数为79.9%，在TrackingNet上的NP分数为88.9%，在VOT2020上的EAO分数为0.555。我们还进行了深入的消融研究，以证明同时特征提取和信息整合的有效性。
https://zhuanlan.zhihu.com/p/485189978?utm_psn=1823159977482780672
https://arxiv.org/pdf/2203.11082
以往跟踪框架存在的问题：（1）需要多个组件构成；（2）CNN-based方法缺乏全局建模能力；（3）Transformer-based方法仍依赖CNN提取特征，并在高层特征上进行注意力建模。为了克服上述问题，作者把特征提取和信息基础进行统一。首先，使特征提取更具体到跟踪目标，提取更多目标判别性特征。其次，将目标信息更广泛地集成到搜索区域中，从而更好的捕获它们之间的相关性。最后，获得了一个更加紧凑和优雅的跟踪框架，无需显式的集成模块
MAM模块相关代码