十二 Transformer T2T (十二TRIZ 获奖)

本文目录导航：

• Transformer（十二）T2T
• ai大模型有哪些
• 万字长文谈图像中的无监督学习（Moco、Simclr、BYOL、SimSiam、SwAV、MAE、IPT）

Transformer（十二）T2T

Transformer在视觉领域的应用，如ViT在ImageNet上曾面临挑战，其相较于经典的CNN模型稍显逊色。

问题的关键在于ViT的简单tokenization无法捕捉图像中的局部结构，且其设计中可能存在冗余，限制了特征的丰富度。

为解决这些问题，新加坡国立大学与依图科技团队携手提出了一种创新的解决方案——Tokens-to-Token ViT（T2T-ViT）。

通过实验，研究团队发现，T2T-ViT在小参数量条件下展现出超越vanilla ViT和ResNet50的性能，尤其在与MobileNet的轻量版本对比中，表现更为突出。

Transformer在视觉任务中成为主流，尽管ViT在图像分类上达到了SOTA，但T2T-ViT凭借其改进，能够在资源有限的情况下取得优异效果。

T2T-ViT的自注意力机制在处理图像时超越了传统的CNN，尤其是通过Progressive Tokenization技术，它能够逐步解析图像结构，提升处理效率。

T2T模块通过重构和软拆分，将图像分解为固定长度的tokens，而T2T-ViT的主干则负责处理全局关系，优化了计算密集部分。

在优化T2T模块以应对MAC和内存问题上，T2T-ViT采用了低通道维和高效Transformer（如Performer层），这进一步提升了模型的效率。

在骨干网络设计上，团队探索了多种架构，深窄(DenseNet)、宽浅(Wide-ResNets)等，实验结果显示，深窄结构在T2T-ViT中展现出最佳性能。

T2T-ViT的核心架构由T2T模块和深窄架构的主干组成，通过n=2的软拆分，图像被逐步缩小，这使得主干的参数和计算开销得到显著降低。

为了与CNN如ResNets和MobileNets进行对比，团队构建了不同规模的T2T-ViT模型，如T2T-ViT-14、19、24等。

整体而言，T2T-ViT通过精简设计，降低了深度、维度和MLP比率，从而实现了更高效的图像分类。

在ImageNet上进行的详细实验与多种CNN和ViT结构的对比，证实了深窄结构在T2T-ViT中的关键作用。

通过消融研究，团队深入理解了T2T模块和结构选择对性能的影响，为视觉Transformer的发展提供了新的视角和实践指导。

ai大模型有哪些

AI大模型主要包括基于自编码器的模型、序列到序列模型、基于Transformer的模型、递归神经网络模型和分层模型等类型。

这些模型在结构、功能和应用领域上有所不同，但共同构成了AI大模型的主体框架。

基于自编码器的模型是一种无监督学习模型，主要用于数据的降维和特征提取。

它通过编码和解码过程重构输入数据，从而学习到数据的内在表示。

这种模型在图像处理、语音识别等领域有广泛应用。

序列到序列模型则主要用于处理序列数据，如自然语言处理中的机器翻译、文本生成等任务。

它通过将输入序列映射到输出序列，实现了不同语言或不同形式数据之间的转换。

基于Transformer的模型是近年来最为火热的AI大模型之一。

以GPT系列为代表，这类模型通过自注意力机制和多头注意力等机制，实现了对输入数据的全局理解和高效处理。

它们在自然语言处理、语音识别、图像生成等多个领域都取得了突破性进展。

递归神经网络模型则主要用于处理具有树形结构的数据，如自然语言中的句法树。

通过递归地处理树形结构中的每个节点，这类模型能够捕捉到数据中的层次结构和依赖关系。

分层模型则是一种将多个模型或模块组合在一起的复合模型。

它们通过分层处理不同级别的数据或任务，实现了对复杂问题的有效分解和解决。

除了以上几种主要类型外，AI大模型还可以根据应用领域和功能进行更细分的分类。

例如，大语言模型就是专门用于处理自然语言任务的AI大模型，如OpenAI的GPT-3模型等。

这些模型在自然语言处理、文本生成、语义分析等领域发挥着重要作用。

总的来说，AI大模型是当前人工智能领域的重要研究方向之一。

它们通过强大的学习能力和泛化能力，为各种复杂任务提供了有效的解决方案。

随着技术的不断发展和进步，我们相信未来会有更多创新型的AI大模型涌现出来，为人类社会带来更多便利和可能。

万字长文谈图像中的无监督学习（Moco、Simclr、BYOL、SimSiam、SwAV、MAE、IPT）

本文将深入探讨图像领域中的无监督学习，包括Moco、Simclr、BYOL、SimSiam、SwAV、MAE和IPT等技术。

无监督学习在早期的auto-encoder和图像预处理预测任务后，随着对比学习的兴起，如Moco和Simclr，取得了显著进步。

它们通过对比同一图像不同处理后的特征，通过最小化正样本距离和最大化负样本距离来优化模型，从而在无标注数据上实现优秀性能。

Moco的核心在于设计了一个维护历史batch特征的队列，利用momentum-encoder保持负样本的稳定性和一致性。

Simclr则通过大batch size和精心设计的数据增强，如使用公式中的[公式]，实现了显著的效果提升。

BYOL和SimSiam则尝试了特征重构，尤其是BYOL，其独特的正样本预测策略避免了负样本的使用，挑战了传统对比学习的理论基础。

SwAV和MAE则带来了新的思路，SwAV通过聚类和无需负样本的loss计算，展示了数据增强的多样性应用。

MAE以VIT为基础，通过高mask比例和非对称的encoder-decoder结构，实现了图像重建任务的高效学习。

IPT则专注于low-level任务，通过特定任务的head和tail模块以及共享参数的transformer结构，对噪声和图像质量提升有独到之处。

尽管无监督学习在大量无标注数据上表现突出，但在标注数据充足时，有监督训练的效果通常更好。

在实际应用中，无监督预训练常作为初始阶段的策略，随着数据增加和标注，有监督训练的效果会提升。

同时，无监督学习对资源消耗大，加载预训练模型是常见的实践。

多模态无监督学习在结合不同模态数据时，能带来更大的收益，这部分内容将在后续文章中深入探讨。

本文旨在分享这些技术的要点和实践心得，有兴趣的朋友可以关注@凤舞九天以获取更多深入解析。