用DETR的方法做Dense Video Captioning！港大&amp PDVC 南科大提出端到端PDVC ICCV2021 简化训练流程 (deteriorate用法)

本文目录导航：

• ICCV2021《PDVC》用DETR的方法做Dense Video Captioning！港大&南科大提出端到端PDVC，简化训练流程。
• CVPR 2021 | 基于Transformer的端到端视频实例分割方法
• 《VideoCLIP》-Facebook&CMU开源视频文本理解的对比学习预训练，性能SOTA！适用于零样本学习！

ICCV2021《PDVC》用DETR的方法做Dense Video Captioning！港大&南科大提出端到端PDVC，简化训练流程。

密集视频字幕（Dense Video Captioning）的目的是从视频中生成多个与其时间位置相关的字幕。

在本文中，作者提出了一种简单而有效的端到端密集视频字幕（PDVC）框架，通过将其定义为一个集合预测任务，类似DETR。

与现有技术相比，PDVC有几个优势：

PDVC通过将密集视频字幕任务作为一个集合预测问题，采用并行解码设计，直接将用于proposal生成的中间表示输入一个与localization head并行的caption head，从而实现事件定位和事件字幕任务之间的相互促进。

在实现时，作者将事件计数器堆叠在Transformer解码器的顶部，以进一步预测最终事件的数量。

通过引入这样一个简单的模块，PDVC可以在对视频内容的整体理解下，精确地将视频分割成多个事件片段，避免了不可靠的事件数估计导致的信息缺失和冗余标题生成。

作者在ActivityNet Captions和YouCook2基准数据集上评估了本文的模型。

即使使用了一个轻量级标题头，本文的方法也可以实现与SOTA方法相当的性能。

此外，定量和定性结果表明，本文的模型受益于并行解码设计。

即使使用弱监督设置（没有位置注释），PDVC也可以隐式地从标题中学习位置感知特征。

为了简化密集视频字幕任务，并探索定位任务和字幕任务之间的互相促进，作者直接检测一组具有适当时间长度的标题，其中分别表示事件的开始时间、结束时间和事件的标题。

事件数量也由PDVC预测。

具体来说，作者采用具有编码器-解码器结构的deformable transformer，通过注意机制捕获帧间、事件间和事件-帧交互，并产生一组事件查询特征。

然后，两个并行的预测头同时预测每个事件查询的边界和标题。

事件计数器从全局视图中预测事件数量。

最后，选择置信度最高的事件作为最终的结果。

本文的结构图如上图所示。

在实验部分，作者比较了PDVC与其他SOTA方法在事件定位、密集字幕和段落字幕性能上的表现，并展示了其在不同硬件环境下的推断时间。

实验结果表明，PDVC可以生成高质量的字幕，并超过SOTA方法。

总之，PDVC通过并行解码设计和端到端框架，显著简化了密集视频字幕任务，实现了事件定位和事件字幕任务之间的高效协同优化。

在两个基准数据集上的实验验证了PDVC的高性能和有效性，证明了其在密集视频字幕生成领域的潜力。

CVPR 2021 | 基于Transformer的端到端视频实例分割方法

实例分割作为计算机视觉的基础问题，尽管静态图像领域已取得诸多成果，但在视频实例分割（Video Instance Segmentation，简称VIS）领域的发展相对滞后。

真实世界中的摄像头接收信息多为视频流而非纯图像，这使得对视频建模的模型研究变得尤为重要。

美团无人配送团队在CVPR 2021上发表的论文《End-to-End Video Instance Segmentation with Transformers》对此问题进行了深入探讨。

本文对这篇论文进行了解读。

实例分割问题涉及到对静态图像中特定物体的检测与分割，而视频实例分割则是对视频中动态物体的检测、分割与跟踪，其复杂性远超静态图像。

视频实例分割不仅要处理空间信息，还要处理时间维度的信息，以更真实地反映现实世界。

现有的视频实例分割方法往往涉及多个复杂模块与阶段，而美团团队提出了一种端到端的模型——VisTR，旨在解决视频实例分割问题。

VisTR算法的创新之处在于，它重新定义了视频实例分割任务，将视频视为序列预测问题，通过Transformer模型直接处理多帧图像序列，并输出对应的分割结果序列。

这使得模型能够从全局角度学习整个视频的空间与时间信息。

算法通过设计Instance Sequence Matching和Instance Sequence Segmentation模块，确保序列级别的监督和分割，从而实现端到端的建模，保留了视频的细节信息。

VisTR算法的网络结构设计包括卷积神经网络（CNN）用于提取初始图像特征，以及Transformer模型进行特征序列建模，最终输出实例序列。

损失函数的设计涵盖了分类、检测和分割多个方面，充分考虑了端到端学习的需要。

实验结果表明，VisTR在YouTube-VIS数据集上的表现优异，特别是在多帧时序信息的利用上，它能够显著提升模型的精度。

时序信息的重要性实验展示了多帧信息对模型学习的积极影响。

Query探究实验验证了不同帧之间实例Query的共享可能性，进一步优化了模型的性能。

VisTR算法在YouTube-VIS数据集上的可视化效果显示，即使在存在遮挡、位置变化、同类实例混淆及不同姿态等挑战性情况下，也能实现良好的分割与跟踪效果。

与其他方法的对比实验显示，VisTR在单一模型的实现中达到了最优效果，并且速度上也显著优于其他方法。

总结而言，VisTR算法通过引入Transformer模型，实现了一种简洁而有效的视频实例分割方法，有效地解决了视频实例分割中的多帧时序信息利用、实例跟踪关联等问题。

该方法不仅在性能上表现出色，同时在速度上也具有优势，为视频实例分割领域的研究提供了新的思路与方向。

《VideoCLIP》-Facebook&CMU开源视频文本理解的对比学习预训练，性能SOTA！适用于零样本学习！

作者 | 小马编辑 | CV君报道 | 我爱计算机视觉（微信id：aicvml）在本文中，作者提出了一种名为VideoCLIP的对比学习方法，用于零样本视频和文本理解的预训练。

这种预训练方式无需下游任务的任何标签，通过训练视频和文本的Transformer结构，旨在提升零样本学习性能。

实验表明，VideoCLIP在多个下游任务中达到SOTA性能，甚至在某些情况下优于监督方法。

方法概述包括视频和文本编码、对比损失以及重叠的视频文本clip和检索增强的预训练策略。

在预训练后，模型具备零样本迁移能力，无需在有标签的目标数据集上进行微调。

3.1. 视频与文本编码作者使用视频编码器与参数化的可训练MLP对连续帧序列的视频clip进行编码，并通过Transformer获取视频和文本token的隐藏状态。

随后，使用平均池化获得全局特征。

3.2. 对比损失对比损失用于学习视频与文本之间的对应关系，最小化视频到文本和文本到视频的对比损失函数之和。

3.3. 重叠的视频文本clip为提高正样本关联性，作者提出了一种简单方法，构建重叠的视频和文本对，以便在片段中构建更高质量和数量的视频文本对齐。

3.4. 检索增强预训练通过检索负样本，学习更细粒度的视频文本相似性，从而改进对比预训练目标。

实验包括性能比较、零样本效果与监督学习方法的对比，以及与不同数据集、任务的实验结果。

4.1. 主要结果在文本-视频检索、视频QA、动作定位和分割任务中，VideoCLIP与现有方法相比表现出色，尤其是在零样本学习设置下。

4.2. 消融实验对Youcook2数据集上text→video检索任务进行消融实验，评估VideoCLIP模型的关键组件效果。

总结VideoCLIP为零样本视频文本理解预训练提供了一种有效方法，通过对比学习和特定的训练策略，实现下游任务的性能提升。

实验结果证实，VideoCLIP在各种任务中优于前模型，并且在某些情况下超越使用监督标签的方法。