hugging face开源的transformers模型可快速搭建图片分类任务 (huggingface)

本文目录导航：

• hugging face开源的transformers模型可快速搭建图片分类任务
• 什么是变压器
• 从多示例学习的角度看Transformer模型：以病理图像分类为例

hugging face开源的transformers模型可快速搭建图片分类任务

Transformer模型自2017年谷歌团队提出后，已成为自然语言处理领域的标准模型。

随着VIT等变体模型的出现，Transformer也被应用到计算机视觉任务中。

如今，ChatGPT等模型也基于Transformer架构开发。

Transformer模型利用注意力机制处理序列信息，具有并行性能，尤其在长序列任务中表现出色。

在计算机视觉领域，Transformer模型以Vision Transformer (ViT)的形式出现，以图像为输入，采用与自然语言处理相同的Transformer架构。

ViT模型在大规模数据集上进行预训练，然后在特定任务上进行微调。

对于初学者来说，Transformer模型中的注意力机制可能较为复杂。

但通过详尽的动画与图文教程，可以更好地理解模型的运作原理。

Hugging Face开源的Transformers模型提供了广泛的支持，使得使用Transformer模型变得更为简便。

使用Transformers模型时，首先需要安装该库，方法简单，只需执行命令即可。

创建Python脚本，引入模型相关的函数，如ViTImageProcessor和ViTForImageClassification，这些函数已经内置了Transformer的注意力机制和其他关键组件。

在脚本中，定义要识别的图片，可以是本地图片或通过URL获取。

确保图片转换为RGB颜色空间，以避免代码错误。

通过调用预训练的ViT模型，将图片作为输入，模型将进行预测。

例如，使用vit-base-patch16-224模型识别老虎图片，模型输出标签为“tiger”。

为了验证模型效果，用户还可以在线体验模型预测过程。

只需访问特定网站，上传图片，模型将自动识别并输出结果。

什么是变压器

变压器(Transformer)是利用电磁感应的原理来改变交流电压的装置，主要构件是初级线圈、次级线圈和铁芯(磁芯)。

主要功能有:电压变换、电流变换、阻抗变换、隔离、稳压(磁饱和变压器)等。

变压器按用途可以分为:配电变压器、电力变压器、全密封变压器、组合式变压器、干式变压器、油浸式变压器、单相变压器、电炉变压器、整流变压器、电抗器、抗干扰变压器、防雷变压器、箱式变电器试验变压器、转角变压器、大电流变压器、励磁变压器等。

从多示例学习的角度看Transformer模型：以病理图像分类为例

本文首先介绍多示例学习的概念，接着分享一篇应用多示例学习于病理图像分类的论文，并从多示例学习的角度理解和应用传统的Transformer模型。

多示例学习（Multiple Instance Learning）是一种弱监督学习方法，其特点在于标签以包（Bag）为单位，而包内具体的样本标签未知。

这种学习方式适用于存在不确定性和复杂性的场景，如病理图像分类。

接下来，我们将讨论多示例学习的定义。

在二分类问题中，假设我们有一个由包组成的集合，每个包内可能包含一个或多个样本。

包的标签由包内所有样本的标签决定：如果包内所有样本均为负样本，则包为负样本；反之，如果包内存在至少一个正样本，则包为正样本。

模型需要学习的，是在未知样本标签的情况下，根据包的标签预测模型。

多示例学习在病理图像分类中的应用，以NeurIPS 2021的论文TransMIL为例。

该论文提出了一个基于Transformer的多示例学习框架，旨在解决病理切片图像诊断中标签获取困难的问题。

由于病理切片图像通常无法实现像素级别的标注，因此需要将图像切分为小块作为示例，并结合整体图像标签进行训练。

这构成了多示例学习的问题，即判断图像是否包含特定特征（如癌细胞）。

论文中的创新点在于提出了一种考虑示例间相关性的多示例学习方法，传统方法往往假设示例间独立同分布，忽略了示例之间的相互作用。

TransMIL通过自注意力机制探索了利用形态学和空间信息的方法，以提高模型的性能。

传统的多示例学习方法多基于示例和嵌入表示，其中池化方法如最大值池化、平均池化等试图简化输入，但忽略了示例间的相关性。

TransMIL通过自注意力机制挖掘了示例间的关系，实现了更加精细的特征提取。

实验结果显示，TransMIL在病理图像数据集上取得了SOTA效果，证明了其在多示例学习领域的潜力。

注意力可视化展示了模型如何识别关键特征，增加了模型的可解释性。

从多示例学习的角度理解Transformer模型，我们发现Transformer的训练过程实际上是一种多示例学习的过程。

以句子级别的文本分类为例，每个词可以视为示例，模型需要学习不同示例（词）如何共同决定句子的标签。

这种学习方式强调了上下文语义的重要性，体现了Transformer模型在处理复杂任务时的灵活性和能力。