LLaVA 模型

模型详情

LLaVA-1.5 在 11 个基准上实现了 SoTA，只需对原始 LLaVA 进行简单修改，利用所有公共数据，在单个 8-A100 节点上约 1 天完成训练，超越使用十亿规模的方法数据。

LLaVA 代表了一种新颖的端到端训练的大型多模态模型，它结合了视觉编码器和 Vicuna，用于通用视觉和语言理解，实现了令人印象深刻的聊天功能，模仿了多模态 GPT-4 的精神，并设定了新的状态- Science QA 的艺术准确性。

模型类型: LLaVA 是一个开源聊天机器人，通过在 GPT 生成的多模式指令跟踪数据上微调 LLaMA/Vicuna 进行训练。它是一种基于 Transformer 架构的自回归语言模型。

模型日期: LLaVA-v1.5-7B于2023年9月接受训练。

有关更多信息的论文或资源: https://llava-vl.github.io/

Llama 2 根据 LLAMA 2 社区许可证获得许可，版权所有 (c) Meta Platforms, Inc。保留所有权利。

有关模型的问题或评论： [https://github.com/haotian-liu/LLaVA/issues](https: //github.com/haotian-liu/LLaVA/issues)

主要预期用途： LLaVA 的主要用途是研究大型多模式模型和聊天机器人。

主要目标用户： 该模型的主要目标用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

12 个基准的集合，包括 5 个学术 VQA 基准和 7 个最近专门为遵循指令的 LMM 提出的基准。