Transformer RNN vs CNN vs NLP三大特征提取器全梳理 (transform)

本文目录导航：

• NLP三大特征提取器全梳理：RNN vs CNN vs Transformer
• 读论文《Conformer: Convolution-augmented Transformer for Speech Recognition》
• YOLO改进系列之注意力机制（CloAttention模型介绍）

NLP三大特征提取器全梳理：RNN vs CNN vs Transformer

在自然语言处理（NLP）领域，选择一个有效的特征提取器对于模型训练至关重要。

本文将全面梳理NLP中的三大特征提取器：RNN（循环神经网络）、CNN（卷积神经网络）和Transformer，并探讨它们的特点和应用。

一、RNN与CNN对比RNN与CNN的关键区别在于RNN是一种序列神经网络，其前一时刻的输入与后一时刻的输入之间存在关系。

RNN结构由输入层、隐藏层和输出层组成，其中，权重矩阵不仅考虑当前时刻输入，还考虑上一时刻隐藏层的值。

RNN在引入NLP后，广泛应用于多种任务，如语言模型、机器翻译等。

然而，RNN面临如梯度消失、梯度爆炸和计算效率低下的问题。

为解决这些问题，研究人员引入了LSTM（长短期记忆）和GRU（门控循环单元）。

CNN则在计算机视觉领域广泛应用，在NLP中也备受关注。

CNN通过一维卷积捕获文本特征，经过池化降维，形成固定长度的向量，用于全连接层进一步处理。

二、TransformerTransformer通过自注意力机制解决了RNN训练速度慢的问题，具有快速并行计算和捕获长距离依赖关系的能力。

它由编码器和解码器组成，每个模块包含多个块，能够将输入映射为隐藏层表示，然后映射为输出。

Transformer结构包括词嵌入、位置嵌入、编码器和解码器。

词嵌入表示单词的向量表示，位置嵌入提供位置信息，编码器通过多个块将输入映射到隐藏层，解码器根据已翻译单词逐步生成下一个单词。

三、特征提取过程特征提取是NLP任务的关键步骤，涉及卷积、池化和全连接层等。

CNN通过卷积层捕获局部特征，池化层降低维度，最终通过非线性变换得到特征向量。

而Transformer通过自注意力机制捕获长距离依赖关系，实现高效并行计算。

综上所述，RNN与CNN在NLP特征提取方面各有特点与限制，而Transformer在自注意力机制下展现出强大的并行计算能力和长距离依赖捕获能力。

未来，Transformer有望成为NLP特征提取领域的首选工具，尽管现在仍存在挑战，但其潜力不容忽视。

随着技术发展，NLP领域将不断探索更先进的特征提取技术，以解决现有方法的局限性，推动人工智能技术的持续进步。

期待未来的研究将带来更多创新与突破。

读论文《Conformer: Convolution-augmented Transformer for Speech Recognition》

基于 Transformer 和 CNN 的模型在自动语音识别 (ASR) 中表现出色，优于循环神经网络 (RNN)。

Transformer 模型擅长捕捉基于内容的全局交互，而 CNN 有效地利用了局部特征。

本研究探讨了如何结合 Transformer 和 CNN 学习音频序列的局部和全局依赖关系。

提出了 Conformer。

Conformer 显著优于之前的基于 Transformer 和 CNN 的模型。

在 LibriSpeech 数据集上，达到了 sota。

之前有 transformer 和 cnn 作为网络在自动语言识别中获得不错的效果，但是都有其局限性。

transformer 不擅长提取细粒度的局部特征。

CNN 网络能捕捉到边缘的线条和形状等特征，但是要捕捉到全局信息需要更多的卷积层。

最近有些工作表明，卷积和自注意力结合起来会很有效。

本文研究了如何将卷积和自注意力结合起来，使用了一个马卡龙架构的模型，作者说，这个可以有效的通过自注意力学习到全局信息，通过卷积有效的学习到局部关联的信息。

作者提出的模型叫 conformer，在 LibriSpeech 数据集上达到了 sota，领先了最佳模型 15%。

提出了三种参数约束 10M、30M 和 118M 的模型，并且进一步研究了其他超参数或者结构的影响。

如图 1 所示，音频 encoder 由卷积和 N 个 conformer 块组成。

如箭头右端所示，conformer 块由 FFN 和自注意力加卷积和一个 FFN 组成。

这种设计灵感来源于马卡龙网络，并且将 FFM 分为了两个一半，具体计算如图 5 所示，这种马卡龙结构经过消融实验后发现比普通的 FFM（FFM 和 FFN 这里意思差不多）效果要由显著改进。

如图 2 所示，多头自注意力模块，包含了残差连接，相对位置编码。

其中相对位置编码允许自注意模块对不同的输入长度进行更好的泛化，并且生成的编码器对语言长度的变化具有更强的鲁棒性。

如图 3，是卷积模块，包含了 pointwise convolution，GLU activation，1-D Depthwise convolution。

如图 4 所示，FFN 在遵循 transformer 配置的基础上，添加了 Swish 激活函数和 Dropout作者谈到了一些超参数的配置，并在 Librispeech 数据集上评估了模型性能，同其他 sota 模型比较了性能，可以看出从图 7 看出，参数量大的时候，conformer 的性能达到了 sota，并且在噪音数据集上的 WER 提升比较明显，遥遥领先其他模型，所以确实这样的结构是有效的。

如图 8 所示，所有实验结果是评估在无额外语言模型上的，如用 RELU 替换掉 SWISH（可微并且不单调），去除卷积模块，用普通 FFN 替换掉马卡龙，用普通自注意层替换掉，相对位置嵌入自注意层。

结果可以表明 Conformer 架构的合理性。

其中卷积是影响最大的，马卡龙风格的 FFN 有效果，SWISH 函数可以使得收敛更快。

如图 9 所示，将卷积替换成轻量级卷积，或者是将卷积放在 MHSA（多头自注意力）模块之前也是效果不佳的。

对于 FFN 模块，作者也做了实验，如图 10 所示，将马卡龙式 FFN 换成单个 FFN 或者是将 1/2 变成 1 都会恶化性能。

自注意力头的个数也有影响，每个注意力头都学会关注输入的不同部分，从而可以比简单加权平均的预测更有效。

如图 11 所示，在总的维度数不变的情况下，对自注意头数目改变，会对结果有影响，所以作者在 s m l 三种模型分别采用了 4 4 8 的头数。

作者对卷积核数目做了扫描，发现核大小 32 是最佳选择。

这项工作介绍了 Conformer，这是一种集成了 CNN 和 Transformers 组件的架构，用于端到端语音识别。

做了大量的消融实验，并证明了卷积模块的加入对 Conformer 模型的性能至关重要。

该模型在 LibriSpeech 数据集表现出强大的性能，比先前工作表现出更好的准确性，并且在测试展现出 sota 性能。

YOLO改进系列之注意力机制（CloAttention模型介绍）

CloAttention是清华大学团队提出的一种改进方法，针对现有轻量级视觉Transformer的注意力机制进行优化。

该方法认为，大多数方法过于专注于设计稀疏注意力以有效处理低频全局信息，而对高频局部信息的处理则相对简单。

CloAttention通过引入AttnConv模块，将普通卷积中的全局共享权重与注意力操作中的上下文感知权重结合，旨在更好地捕捉高频局部信息，同时处理图像中不同位置的关系。

相较于Transformer，CloAttention能够在图像分析任务中提供更高质量的局部特征表示。

CloAttention基于CloFormer模型架构，采用两分支设计：局部分支利用深度可分离卷积（depth-wise Convolution）提取局部特征，并通过门控机制生成上下文感知权重，增强局部特征的表示能力。

全局分支则使用传统的注意力操作来捕捉低频全局信息，对关键和值向量进行下采样以减少参数量。

最后，两个分支的输出通过一种简单的方法融合，形成最终的特征表示。

CloFormer整体结构包含四个stage，每个stage由Clo Block和ConvFFN组成。

首先通过conv stem进行图像预处理，得到token，然后通过四个stage逐层提取分层特征。

最终使用全局平均池化和全连接层生成预测结果。

ConvFFN的使用替代了传统的FFN，其通过深度可分离卷积在GeLU激活之后聚合局部信息，相较于普通FFN，ConvFFN能够直接下采样，无需引入额外的模块。

CloFormer支持两种类型的ConvFFN，分别是在In-Stage ConvFFN中利用跳跃连接直接集成局部信息，以及在两个stage的ConvFFN中，通过DWConv和全连接层进行输入信息的下采样和升维处理。

Clo block是CloFormer中关键的局部处理单元，由局部分支和全局分支组成。

全局分支对关键和值向量进行下采样，执行传统注意力过程以提取低频全局信息。

而局部分支则利用AttnConv模块，将共享权重（DWConv）与上下文感知权重结合，增强局部特征表示能力。

AttnConv通过线性变换获取Q、K和V，对V进行信息聚合，然后利用更强的非线性方法生成上下文感知权重，增强局部特征，并同时利用共享权重和上下文感知权重进行综合处理，以适应输入内容并提高性能。

CloAttention模块通过AttnConv的引入，实现了在局部感知过程中对高频信息的更优捕捉与处理，相较于Transformer和传统卷积操作，CloAttention在处理图像中不同位置关系时展现出更高的效率与准确性。

此外，CloAttention模块还被集成到YOLOv5模型中，以改进其目标检测能力。

实验表明，基于CloAttention改进的YOLOv5模型在MS COCO 2017验证集上能够实现1-3%的性能提升，进一步验证了CloAttention的有效性与实用性。

总之，CloAttention通过优化注意力机制，结合共享权重与上下文感知权重，实现了在视觉Transformer中对高频局部信息的更有效处理，显著提升了图像分析任务的性能，特别是当应用于YOLOv5等目标检测模型时，能够显著提升检测精度与效率。

该技术的引入和应用为视觉分析领域带来了新的突破，值得进一步的研究与实践探索。