小模型大突破！北航&&清华 | 提出TinyLLaVA多模态框架，性能可媲美大模型

来源: AINLPer公众号（每日干货分享！！）
编辑: ShuYini
校稿: ShuYini
时间: 2024-2-28

引言

当前LLMs在NLP领域取得了显著的进展，为了能够继续提升模型对多模态信息的理解，研究者们开始了多模型模型的研究，并取得了显著的成果，例如：GPT-4图文理解、以及Sora视频生成，但是此类模型高昂的计算成本限制了其广泛应用。

为此，本文提出了TinyLLaVA框架，旨在提供一个统一的视角来设计和分析小规模LMMs。实验表明通过优化数据质量和训练策略，小规模模型在性能上可与大型模型相媲美。论文获取方式，GZ： AINLPer公众号，，回复：TinyLLaVA

背景介绍

近年来，随着大型语言模型（LLMs）如GPT-3和BERT在自然语言处理领域的成功，研究者们受到启发，开始探索将视觉感知与LLMs结合的LMMs。这些模型通过视觉和语言的联合学习，旨在提升对多模态信息的理解能力。例如，Flamingo模型就是一个拥有80亿参数的LMM，它在视觉-语言少样本学习任务上展现出了卓越的性能。

然而，尽管模型规模的扩大显著提高了性能，但训练如此庞大的模型需要昂贵的计算资源，而且模型的大规模可能导致训练和推理预算不可承受。这限制了研究的可及性，尤其是对于资源有限的学术社区。为了解决这一问题，研究者们开始关注小规模模型，这些模型在保持合理计算预算的同时，也能达到令人印象深刻的性能。例如，Phi-2、TinyLlama和StableLM2等小规模LLMs在保持较小参数规模的同时，也展现出了强大的能力。

LMMs的设计空间非常广泛，包括不同的视觉编码器、连接模块、语言模型、训练数据和训练策略。这种多样性导致了设计LMMs的复杂性，并增加了理解现有方法空间的难度。为了应对这一挑战，本文提出了TinyLLaVA框架，提供了一个统一的视角来设计和分析小规模LMMs。

TinyLLaVA框架

TinyLLaVA框架的结构设计旨在有效地结合视觉和语言处理能力，以实现对多模态数据的理解和生成。其框架如下图所示：
如上图所示，TinyLLaVA框架主要由三部分组成：小规模语言模型（LLM）、视觉编码器和连接器。其中：

小规模LLM是框架的核心，负责处理和生成文本信息。小规模LLM可以选用TinyLlama、StableLM-2、Phi-2等，它们能够在保持较小参数规模的同时处理复杂的语言任务。

视觉编码器的作用是将输入的图像转换为一系列视觉特征。在TinyLLaVA框架中，本文使用CLIP和SigLIP作为视觉编码器，这些编码器能够提取图像中的关键视觉信息。

连接器是视觉编码器和LLM之间的桥梁，它负责将视觉特征映射到文本嵌入空间。这样，LLM就能够理解和生成与视觉内容相关联的文本。

TinyLLaVA训练流程

TinyLLaVA的训练流程是一个分阶段的过程，旨在优化模型以处理多模态数据（即图像和文本）。这个流程包括预训练和监督微调两个主要阶段，每个阶段都有其特定的目标和方法。以下是详细的训练流程：

预训练阶段-目标在预训练阶段，主要目标是使模型能够更好地对齐视觉和文本信息。这通过使用图像-标题（image-caption）对来实现，这些数据对包含了图像及其对应的描述。

预训练阶段-方法：给定一个图像$X$和目标响应$Y_a$（描述图像的文本序列），模型计算生成$Y_a$的条件概率，并将其最大化作为训练目标。这个过程中，连接器$P_{\varphi }$和LLM $F_{\theta }$的参数都会更新来优化模型性能，而预训练通常是冻结其他部分的模型参数，只更新连接器。

监督微调阶段-目标：在监督微调阶段，模型使用原始的多轮对话形式的图像-文本对$（X,Y）$，其中Y包含了人类指令$（Y_q^t）$和相应的助手响应$（Y_a^t）$。这个阶段的目标是优化助手响应的自回归概率，以提高模型在特定任务上的表现。

监督微调阶段-方法：在这个阶段，模型调整连接器$P_{\varphi }$、LLM $F_{\theta }$和视觉编码器$V_{\phi }$的参数。与预训练不同，监督微调通常涉及对所有或部分模型参数的调整。这个过程通过最大化助手响应的对数似然来实现，其中只考虑助手响应的部分（即$Y_a^t$）。

在整个训练流程中，TinyLLaVA框架能够让模型的不同部分进行部分学习参数的调整，这有助于在小规模LLM的情况下更好地对齐视觉和文本信息。此外，训练流程中的不同阶段可能涉及不同的学习率和批量大小，以适应不同的训练需求。

通过这种分阶段的训练方法，TinyLLaVA能够在保持计算效率的同时，实现对多模态数据的深入理解和有效处理。这种训练策略为小规模LMMs的研究提供了一种有效的途径，使得这些模型能够在资源有限的情况下，达到与大型模型相媲美的性能。

实验结果

模型在多个图像问答（VQA）和综合性能评估（如POPE、MM-Vet等）基准上进行评估。结果表明，通过优化训练策略和数据质量，小规模LMMs能够实现与大型模型相当的性能。特别是，TinyLLaVA-3.1B模型在多个任务上超越了现有的7B模型。