基于Transformer的多目标跟踪方法TrackFormer AI论文解读 (基于transformer架构的模型)

本文目录导航：

• AI论文解读：基于Transformer的多目标跟踪方法TrackFormer
• ECCV2022|港中文MM Lab证明Frozen的CLIP 模型是高效视频学习者
• CVPR 2021 | 基于Transformer的端到端视频实例分割方法

AI论文解读：基于Transformer的多目标跟踪方法TrackFormer

多目标跟踪任务是计算机视觉领域的挑战性问题，其目标是同时完成目标初始化、定位以及构建时空轨迹。

本文提出了一种基于Transformer的端到端多目标跟踪方法，即TrackFormer。

该方法将多目标跟踪问题构建为帧到帧的集合预测问题，并利用Transformer的编码器-解码器结构实现数据关联和跟踪轨迹预测。

TrackFormer的核心是利用Transformer的注意力机制，通过self-attention和encoder-decoder的注意力关联帧间数据，从而预测视频序列中的跟踪轨迹。

该模型在训练过程中实现了端到端的可学习性，使用卷积神经网络提取图像特征，然后通过Transformer解码器将查询向量解码为包围框和身份ID。

模型的训练流程包括以下步骤：首先，使用通用卷积神经网络提取图像特征；其次，通过Transformer编码器对帧级特征进行编码；接着，Transformer解码器利用self-和cross-attention完成查询解码；最后，通过多层感知机映射解码器输出，实现边界框和类别的预测。

TrackFormer的跟踪过程包括初始化和跟踪查询。

新出现的目标通过固定数量的目标查询向量检测，这些向量在网络训练中不断学习，用于初始化跟踪。

跟踪查询则在帧间跟踪目标，通过自回归调整位置预测。

解码器的注意力机制分为两种类型，一种是所有查询向量上的self-attention，用于响应场景中所有目标；另一种是编码器和解码器之间的注意力，用于获取当前帧的全局视觉信息。

为了实现有效的跟踪训练，TrackFormer提出了基于解码器查询向量的训练方法。

同时训练相邻两帧，优化所有多目标跟踪目标函数。

集合预测损失衡量了每一帧输出与真实目标之间的相似性，分为跟踪初始化损失和跟踪查询损失两部分，通过匹配跟踪id、包围框和类别的相似性来计算。

实验结果表明，TrackFormer在MOT17和MOTS20数据集上展示出了良好的性能，特别是在使用共有检测器时，在MOTP和IDF1指标上取得了显著提升。

此外，TrackFormer还能够预测实例级别的分割图，优于现有的SOTA方法。

ECCV2022|港中文MM Lab证明Frozen的CLIP 模型是高效视频学习者

Frozen CLIP Models are Efficient Video LearnersFrozen CLIP模型在视频学习者中证明了其高效性，此研究在ECCV2022会议上展示。

在视频识别领域，端到端学习方法主导，通过使用预训练图像模型的权重初始化视频识别模型，然后进行端到端训练。

这种方法允许视频网络从预训练图像模型中获益。

然而，微调视频网络需要大量的计算和内存资源，而直接使用预训练图像特征可能导致性能不佳。

最近，Contrastive Vision-Language Pre-training (CLIP) 的进展开辟了视觉识别任务的新途径。

这些模型在大型开放词汇图像-文本对数据集上进行预训练，学习具有丰富语义的强大视觉表示。

本文提出了一种名为高效视频学习(EVL)的框架，该框架用于直接训练具有冻结CLIP特征的高质量视频识别模型。

EVL采用轻量级的Transformer解码器，并学习查询token，从CLIP图像编码器动态收集帧级空间特征。

此外，局部时间模块被采用，通过时间卷积、时间位置嵌入和跨帧注意力收集时间线索。

研究显示，尽管使用冻结主干进行训练，但模型在各种视频识别数据集上学习了高质量的视频表示。

本文提出了一种基于轻量级Transformer解码器的高效视频学习框架，以利用冻结的CLIP图像特征进行视频识别。

与其他视频识别模型不同，EVL学习查询token，从CLIP图像编码器的每一层动态收集帧级空间特征。

引入局部时间模块，通过时间卷积、时间位置嵌入和跨帧注意力收集时间线索。

最后，使用全连接层预测视频类别的分数。

实验表明，EVL是一种简单有效的pipeline，具有更高的准确性，但训练和推理成本更低。

本文的贡献包括：- 介绍了一种基于轻量级Transformer解码器的高效视频学习框架；- 展示了如何利用冻结的CLIP图像特征进行视频识别；- 通过引入局部时间模块收集时间线索，提高视频识别性能。

在提出高效视频学习框架后，作者详细介绍了其整体结构、学习时间线索的方法以及复杂性分析。

整体结构固定CLIP主干之上，采用多层时空Transformer解码器，从CLIP主干的第n层提取第t帧的帧特征，并堆叠形成时空特征量，用时间信息调制，输入Transformer解码器。

学习时间线索的方法包括时间深度卷积、时间位置嵌入和时间跨注意力。

复杂性分析表明，与编码器块相比，解码器块更轻量级，即使使用完整配置，FLOPS的增加也在主干的20%以内。

在训练中，使用固定骨干网和非侵入式Transformer解码器头，避免了通过骨干网进行反向传播，减少了内存消耗和训练时间。

实验部分展示了本文方法在Kinetics-400数据集上的结果与其他SOTA方法的对比。

展示了基于CLIP方法的对比结果、推理延迟和吞吐量、训练时间、多层高分辨率特征图的效果、不同预训练图像特征的结果以及时间信息对视频识别的影响。

在Something-Something-v2数据集上，展示了主要结果、不同组合的集成结果以及集成结果的详细信息。

文章总结指出，本文方法有效地利用了强大的图像特征进行视频识别，同时避免了对非常大的图像模型进行繁重或令人望而却步的全面微调。

作者认为，本文的观察有可能使更广泛的社区可以访问视频识别，并以更有效的方式将视频模型推向新的最先进水平。

CVPR 2021 | 基于Transformer的端到端视频实例分割方法

实例分割作为计算机视觉的基础问题，尽管静态图像领域已取得诸多成果，但在视频实例分割（Video Instance Segmentation，简称VIS）领域的发展相对滞后。

真实世界中的摄像头接收信息多为视频流而非纯图像，这使得对视频建模的模型研究变得尤为重要。

美团无人配送团队在CVPR 2021上发表的论文《End-to-End Video Instance Segmentation with Transformers》对此问题进行了深入探讨。

本文对这篇论文进行了解读。

实例分割问题涉及到对静态图像中特定物体的检测与分割，而视频实例分割则是对视频中动态物体的检测、分割与跟踪，其复杂性远超静态图像。

视频实例分割不仅要处理空间信息，还要处理时间维度的信息，以更真实地反映现实世界。

现有的视频实例分割方法往往涉及多个复杂模块与阶段，而美团团队提出了一种端到端的模型——VisTR，旨在解决视频实例分割问题。

VisTR算法的创新之处在于，它重新定义了视频实例分割任务，将视频视为序列预测问题，通过Transformer模型直接处理多帧图像序列，并输出对应的分割结果序列。

这使得模型能够从全局角度学习整个视频的空间与时间信息。

算法通过设计Instance Sequence Matching和Instance Sequence Segmentation模块，确保序列级别的监督和分割，从而实现端到端的建模，保留了视频的细节信息。

VisTR算法的网络结构设计包括卷积神经网络（CNN）用于提取初始图像特征，以及Transformer模型进行特征序列建模，最终输出实例序列。

损失函数的设计涵盖了分类、检测和分割多个方面，充分考虑了端到端学习的需要。

实验结果表明，VisTR在YouTube-VIS数据集上的表现优异，特别是在多帧时序信息的利用上，它能够显著提升模型的精度。

时序信息的重要性实验展示了多帧信息对模型学习的积极影响。

Query探究实验验证了不同帧之间实例Query的共享可能性，进一步优化了模型的性能。

VisTR算法在YouTube-VIS数据集上的可视化效果显示，即使在存在遮挡、位置变化、同类实例混淆及不同姿态等挑战性情况下，也能实现良好的分割与跟踪效果。

与其他方法的对比实验显示，VisTR在单一模型的实现中达到了最优效果，并且速度上也显著优于其他方法。

总结而言，VisTR算法通过引入Transformer模型，实现了一种简洁而有效的视频实例分割方法，有效地解决了视频实例分割中的多帧时序信息利用、实例跟踪关联等问题。

该方法不仅在性能上表现出色，同时在速度上也具有优势，为视频实例分割领域的研究提供了新的思路与方向。