Meta-Llama-3-70B

模型简介

该模型为 Meta 发布的 Meta Llama 3 大型语言模型系列 (LLMs) ， 这是一系列预训练和指令调整的生成文本模型，有 8B 和 70B 两种型号。该模型为其 70B 大小的模型，专为大规模 AI 应用设计。

Llama 3 指令调整模型针对对话用例进行了优化，在常见的行业基准测试中，其性能优于许多可用的开源聊天模型。此外，在开发这些模型时，研究团队非常注重优化有益性和安全性。

Llama 3 比 Llama 2 和其他公开可用的模型有了很大的改进：

Llama 3 有两种型号大小：8B 和 70B 参数（包括预训练和指令调整的变体）

8B 用于在消费级 GPU 上高效部署和开发，70B 用于大规模 AI 原生应用程序。两者都有基础版本和指令调整版本。除了这 4 个型号之外，新版本的 Llama Guard 在 Llama 3 8B 上进行了微调，并发布为 Llama Guard 2（安全微调）。

Llama 3 是一种使用优化的 Transformer 架构的自回归语言模型。调整后的版本使用了监督微调 (SFT) 和带有人类反馈的强化学习 (RLHF) 以符合人类对有用性和安全性的偏好。

Llama 3 使用来自公开来源的超过 15 万亿个 tokens 数据进行了预训练。微调数据包括公开可用的指令数据集，以及超过 1,000 万个人工注释的示例。预训练和微调数据集都不包含元用户数据。

70B 模型的预训练数据截止日期为 2023 年 12 月。