带你开发一个视频动态手势识别模型 (带你开发一个人的软件)

本文目录导航：

• 带你开发一个视频动态手势识别模型
• AI论文解读：基于Transformer的多目标跟踪方法TrackFormer
• ICCV2021《PDVC》用DETR的方法做Dense Video Captioning！港大&南科大提出端到端PDVC，简化训练流程。

带你开发一个视频动态手势识别模型

人工智能在人机交互领域中不断革新，手势动作作为快速自然的交互方式，被广泛应用于智能驾驶和虚拟现实等领域。

手势识别，即通过计算机快速准确地识别出操作者做出的手势类型，是其关键技术之一。

本文将介绍如何在华为云的ModelArts平台上开发训练一个视频动态手势识别模型，该模型能够识别上滑、下滑、左滑、右滑、打开、关闭等动态手势。

该模型采用CNN-VIT算法，首先利用预训练网络InceptionResNetV2逐帧提取视频动作片段特征，然后输入Transformer Encoder进行分类。

测试使用了动态手势识别样例数据集，包含108段视频，涵盖了无效手势、上滑、下滑、左滑、右滑、打开、关闭等7种手势。

数据处理流程包括视频解码抽取关键帧，每隔4帧保存一次，对图像进行中心裁剪和预处理。

图像特征提取器使用预训练模型InceptionResNetV2进行提取，不足40帧的视频则补全为全0数组。

最后创建VIT Model进行训练。

模型训练阶段，通过一键运行华为云ModelArts平台的Notebook进行操作，最终在小数据集上达到87%的准确率。

模型推理阶段，首先加载VIT Model获取视频类别索引标签，使用图像特征提取器InceptionResNetV2提取视频特征，然后将视频序列的特征向量输入Transformer Encoder进行预测。

模型预测结果准确可靠，实现类似华为手机隔空手势的功能。

AI论文解读：基于Transformer的多目标跟踪方法TrackFormer

多目标跟踪任务是计算机视觉领域的挑战性问题，其目标是同时完成目标初始化、定位以及构建时空轨迹。

本文提出了一种基于Transformer的端到端多目标跟踪方法，即TrackFormer。

该方法将多目标跟踪问题构建为帧到帧的集合预测问题，并利用Transformer的编码器-解码器结构实现数据关联和跟踪轨迹预测。

TrackFormer的核心是利用Transformer的注意力机制，通过self-attention和encoder-decoder的注意力关联帧间数据，从而预测视频序列中的跟踪轨迹。

该模型在训练过程中实现了端到端的可学习性，使用卷积神经网络提取图像特征，然后通过Transformer解码器将查询向量解码为包围框和身份ID。

模型的训练流程包括以下步骤：首先，使用通用卷积神经网络提取图像特征；其次，通过Transformer编码器对帧级特征进行编码；接着，Transformer解码器利用self-和cross-attention完成查询解码；最后，通过多层感知机映射解码器输出，实现边界框和类别的预测。

TrackFormer的跟踪过程包括初始化和跟踪查询。

新出现的目标通过固定数量的目标查询向量检测，这些向量在网络训练中不断学习，用于初始化跟踪。

跟踪查询则在帧间跟踪目标，通过自回归调整位置预测。

解码器的注意力机制分为两种类型，一种是所有查询向量上的self-attention，用于响应场景中所有目标；另一种是编码器和解码器之间的注意力，用于获取当前帧的全局视觉信息。

为了实现有效的跟踪训练，TrackFormer提出了基于解码器查询向量的训练方法。

同时训练相邻两帧，优化所有多目标跟踪目标函数。

集合预测损失衡量了每一帧输出与真实目标之间的相似性，分为跟踪初始化损失和跟踪查询损失两部分，通过匹配跟踪id、包围框和类别的相似性来计算。

实验结果表明，TrackFormer在MOT17和MOTS20数据集上展示出了良好的性能，特别是在使用共有检测器时，在MOTP和IDF1指标上取得了显著提升。

此外，TrackFormer还能够预测实例级别的分割图，优于现有的SOTA方法。

ICCV2021《PDVC》用DETR的方法做Dense Video Captioning！港大&南科大提出端到端PDVC，简化训练流程。

密集视频字幕（Dense Video Captioning）的目的是从视频中生成多个与其时间位置相关的字幕。

在本文中，作者提出了一种简单而有效的端到端密集视频字幕（PDVC）框架，通过将其定义为一个集合预测任务，类似DETR。

与现有技术相比，PDVC有几个优势：

PDVC通过将密集视频字幕任务作为一个集合预测问题，采用并行解码设计，直接将用于proposal生成的中间表示输入一个与localization head并行的caption head，从而实现事件定位和事件字幕任务之间的相互促进。

在实现时，作者将事件计数器堆叠在Transformer解码器的顶部，以进一步预测最终事件的数量。

通过引入这样一个简单的模块，PDVC可以在对视频内容的整体理解下，精确地将视频分割成多个事件片段，避免了不可靠的事件数估计导致的信息缺失和冗余标题生成。

作者在ActivityNet Captions和YouCook2基准数据集上评估了本文的模型。

即使使用了一个轻量级标题头，本文的方法也可以实现与SOTA方法相当的性能。

此外，定量和定性结果表明，本文的模型受益于并行解码设计。

即使使用弱监督设置（没有位置注释），PDVC也可以隐式地从标题中学习位置感知特征。

为了简化密集视频字幕任务，并探索定位任务和字幕任务之间的互相促进，作者直接检测一组具有适当时间长度的标题，其中分别表示事件的开始时间、结束时间和事件的标题。

事件数量也由PDVC预测。

具体来说，作者采用具有编码器-解码器结构的deformable transformer，通过注意机制捕获帧间、事件间和事件-帧交互，并产生一组事件查询特征。

然后，两个并行的预测头同时预测每个事件查询的边界和标题。

事件计数器从全局视图中预测事件数量。

最后，选择置信度最高的事件作为最终的结果。

本文的结构图如上图所示。

在实验部分，作者比较了PDVC与其他SOTA方法在事件定位、密集字幕和段落字幕性能上的表现，并展示了其在不同硬件环境下的推断时间。

实验结果表明，PDVC可以生成高质量的字幕，并超过SOTA方法。

总之，PDVC通过并行解码设计和端到端框架，显著简化了密集视频字幕任务，实现了事件定位和事件字幕任务之间的高效协同优化。

在两个基准数据集上的实验验证了PDVC的高性能和有效性，证明了其在密集视频字幕生成领域的潜力。