VideoCLIP (videocapture采集卡软件)

本文目录导航：

• 《VideoCLIP》-Facebook&CMU开源视频文本理解的对比学习预训练，性能SOTA！适用于零样本学习！
• CVPR 2021 | 基于Transformer的端到端视频实例分割方法
• AI论文解读：基于Transformer的多目标跟踪方法TrackFormer

《VideoCLIP》-Facebook&CMU开源视频文本理解的对比学习预训练，性能SOTA！适用于零样本学习！

作者 | 小马编辑 | CV君报道 | 我爱计算机视觉（微信id：aicvml）在本文中，作者提出了一种名为VideoCLIP的对比学习方法，用于零样本视频和文本理解的预训练。

这种预训练方式无需下游任务的任何标签，通过训练视频和文本的Transformer结构，旨在提升零样本学习性能。

实验表明，VideoCLIP在多个下游任务中达到SOTA性能，甚至在某些情况下优于监督方法。

方法概述包括视频和文本编码、对比损失以及重叠的视频文本clip和检索增强的预训练策略。

在预训练后，模型具备零样本迁移能力，无需在有标签的目标数据集上进行微调。

3.1. 视频与文本编码作者使用视频编码器与参数化的可训练MLP对连续帧序列的视频clip进行编码，并通过Transformer获取视频和文本token的隐藏状态。

随后，使用平均池化获得全局特征。

3.2. 对比损失对比损失用于学习视频与文本之间的对应关系，最小化视频到文本和文本到视频的对比损失函数之和。

3.3. 重叠的视频文本clip为提高正样本关联性，作者提出了一种简单方法，构建重叠的视频和文本对，以便在片段中构建更高质量和数量的视频文本对齐。

3.4. 检索增强预训练通过检索负样本，学习更细粒度的视频文本相似性，从而改进对比预训练目标。

实验包括性能比较、零样本效果与监督学习方法的对比，以及与不同数据集、任务的实验结果。

4.1. 主要结果在文本-视频检索、视频QA、动作定位和分割任务中，VideoCLIP与现有方法相比表现出色，尤其是在零样本学习设置下。

4.2. 消融实验对Youcook2数据集上text→video检索任务进行消融实验，评估VideoCLIP模型的关键组件效果。

总结VideoCLIP为零样本视频文本理解预训练提供了一种有效方法，通过对比学习和特定的训练策略，实现下游任务的性能提升。

实验结果证实，VideoCLIP在各种任务中优于前模型，并且在某些情况下超越使用监督标签的方法。

CVPR 2021 | 基于Transformer的端到端视频实例分割方法

实例分割作为计算机视觉的基础问题，尽管静态图像领域已取得诸多成果，但在视频实例分割（Video Instance Segmentation，简称VIS）领域的发展相对滞后。

真实世界中的摄像头接收信息多为视频流而非纯图像，这使得对视频建模的模型研究变得尤为重要。

美团无人配送团队在CVPR 2021上发表的论文《End-to-End Video Instance Segmentation with Transformers》对此问题进行了深入探讨。

本文对这篇论文进行了解读。

实例分割问题涉及到对静态图像中特定物体的检测与分割，而视频实例分割则是对视频中动态物体的检测、分割与跟踪，其复杂性远超静态图像。

视频实例分割不仅要处理空间信息，还要处理时间维度的信息，以更真实地反映现实世界。

现有的视频实例分割方法往往涉及多个复杂模块与阶段，而美团团队提出了一种端到端的模型——VisTR，旨在解决视频实例分割问题。

VisTR算法的创新之处在于，它重新定义了视频实例分割任务，将视频视为序列预测问题，通过Transformer模型直接处理多帧图像序列，并输出对应的分割结果序列。

这使得模型能够从全局角度学习整个视频的空间与时间信息。

算法通过设计Instance Sequence Matching和Instance Sequence Segmentation模块，确保序列级别的监督和分割，从而实现端到端的建模，保留了视频的细节信息。

VisTR算法的网络结构设计包括卷积神经网络（CNN）用于提取初始图像特征，以及Transformer模型进行特征序列建模，最终输出实例序列。

损失函数的设计涵盖了分类、检测和分割多个方面，充分考虑了端到端学习的需要。

实验结果表明，VisTR在YouTube-VIS数据集上的表现优异，特别是在多帧时序信息的利用上，它能够显著提升模型的精度。

时序信息的重要性实验展示了多帧信息对模型学习的积极影响。

Query探究实验验证了不同帧之间实例Query的共享可能性，进一步优化了模型的性能。

VisTR算法在YouTube-VIS数据集上的可视化效果显示，即使在存在遮挡、位置变化、同类实例混淆及不同姿态等挑战性情况下，也能实现良好的分割与跟踪效果。

与其他方法的对比实验显示，VisTR在单一模型的实现中达到了最优效果，并且速度上也显著优于其他方法。

总结而言，VisTR算法通过引入Transformer模型，实现了一种简洁而有效的视频实例分割方法，有效地解决了视频实例分割中的多帧时序信息利用、实例跟踪关联等问题。

该方法不仅在性能上表现出色，同时在速度上也具有优势，为视频实例分割领域的研究提供了新的思路与方向。

AI论文解读：基于Transformer的多目标跟踪方法TrackFormer

多目标跟踪任务是计算机视觉领域的挑战性问题，其目标是同时完成目标初始化、定位以及构建时空轨迹。

本文提出了一种基于Transformer的端到端多目标跟踪方法，即TrackFormer。

该方法将多目标跟踪问题构建为帧到帧的集合预测问题，并利用Transformer的编码器-解码器结构实现数据关联和跟踪轨迹预测。

TrackFormer的核心是利用Transformer的注意力机制，通过self-attention和encoder-decoder的注意力关联帧间数据，从而预测视频序列中的跟踪轨迹。

该模型在训练过程中实现了端到端的可学习性，使用卷积神经网络提取图像特征，然后通过Transformer解码器将查询向量解码为包围框和身份ID。

模型的训练流程包括以下步骤：首先，使用通用卷积神经网络提取图像特征；其次，通过Transformer编码器对帧级特征进行编码；接着，Transformer解码器利用self-和cross-attention完成查询解码；最后，通过多层感知机映射解码器输出，实现边界框和类别的预测。

TrackFormer的跟踪过程包括初始化和跟踪查询。

新出现的目标通过固定数量的目标查询向量检测，这些向量在网络训练中不断学习，用于初始化跟踪。

跟踪查询则在帧间跟踪目标，通过自回归调整位置预测。

解码器的注意力机制分为两种类型，一种是所有查询向量上的self-attention，用于响应场景中所有目标；另一种是编码器和解码器之间的注意力，用于获取当前帧的全局视觉信息。

为了实现有效的跟踪训练，TrackFormer提出了基于解码器查询向量的训练方法。

同时训练相邻两帧，优化所有多目标跟踪目标函数。

集合预测损失衡量了每一帧输出与真实目标之间的相似性，分为跟踪初始化损失和跟踪查询损失两部分，通过匹配跟踪id、包围框和类别的相似性来计算。

实验结果表明，TrackFormer在MOT17和MOTS20数据集上展示出了良好的性能，特别是在使用共有检测器时，在MOTP和IDF1指标上取得了显著提升。

此外，TrackFormer还能够预测实例级别的分割图，优于现有的SOTA方法。