Yi-34B-Chat-4bits

打造下一代开源双语 LLMs

🤗 Hugging Face • 🤖 ModelScope • ✡️ WiseModel

👋 Join us 💬 WeChat (Chinese) !

🟢 什么是 Yi?

📌 介绍

🤖 Yi 系列模型是 01.AI 从零开始训练的下一代开源大语言模型。
🙌 Yi 系列模型以双语语言模型为目标，在 3T 多语言语料库上进行训练，成为全球最强的 LLM 模型之一，在语言理解、常识推理、阅读理解等方面表现出良好的前景。例如，
- Yi-34B-Chat 模型在 AlpacaEval 排行榜上排名第二（仅次于 GPT-4 Turbo），优于其他 LLM（例如 GPT-4、Mixtral、Claude）（基于截至 2024 年 1 月的可用数据）。
- Yi-34B模型在Hugging Face Open LLM Leaderboard（预训练）和C-Eval等各种基准测试中，在所有现有开源模型（如Falcon-180B、Llama-70B、Claude）中英文和中文排名第一（基于截至 2023 年 11 月的可用数据）。
- 🙏 （感谢 Llama）感谢 Transformer 和 Llama 开源社区，因为它们减少了从头开始构建所需的工作量，并能够在人工智能生态系统中使用相同的工具。
如果您对 Yi 采用 Llama 架构和许可证使用政策感兴趣，请参阅 Yi 与 Llama 的关系。 Yi's relation with Llama. ⬇️
💡 TL;DR

Yi 系列模型采用与 Llama 相同的模型架构，但不是 Llama 的衍生品。
- Yi 和 Llama 都基于 Transformer 结构，该结构自 2018 年以来一直是大型语言模型的标准架构。
- Llama 基于 Transformer 架构，凭借其卓越的稳定性、可靠的收敛性和强大的兼容性，已成为大多数最先进开源模型的新基石。这使得 Llama 成为包括 Yi 在内的模型公认的基础框架。
- 得益于 Transformer 和 Llama 架构，其他模型可以利用它们的强大功能，减少从头开始构建所需的工作量，并能够在其生态系统中使用相同的工具。
- 然而，Yi 系列模型不是 Llama 的衍生品，因为它们不使用 Llama 的权重。
  - 由于大多数开源模型都采用 Llama 的结构，因此决定模型性能的关键因素是训练数据集、训练管道和训练基础设施。
  - Yi以独特且专有的方式开发，完全从头开始独立创建了自己的高质量训练数据集、高效的训练管道和强大的训练基础设施。这一努力带来了优异的表现，Yi 系列模型在2023 年 12 月的 Alpaca 排行榜上排名仅次于 GPT4，并超越 Llama 。

[ Back to top ⬆️ ]

🎯 Models

Yi 型号有多种尺寸，可满足不同的用例。您还可以微调 Yi 模型以满足您的特定要求。

如果您想部署Yi模型，请确保满足软件和硬件要求。

其他

对于聊天和基本模型:
- 6B 适合个人和学术用途。
- 34B 适合个人、学术和商业（特别是中小型企业）用途。这是一种经济高效的解决方案，价格实惠且具备应急能力。

🟢 如何使用 Yi?

快速开始

Yi 模型的设置和运行非常简单，有多种选择。

选择你的路径

选择以下路径之一，开始您与 Yi 的旅程！

Quick start - Choose your path

🎯 本地部署 Yi

如果您更喜欢在本地部署 Yi 模型，

🙋‍♀️ 并且您有足够的资源（例如NVIDIA A800 80GB），您可以选择以下方法之一：
- pip
- Docker
- conda-lock
🙋‍♀️ 您的资源有限（例如 MacBook Pro），您可以使用llama.cpp。

🎯 不在本地部署 Yi

如果您不想在本地部署 Yi 模型，则可以使用以下任一选项探索 Yi 的功能

🙋‍♀️ 使用 API 运行 Yi

如果你想探索 Yi 的更多特性，可以采用以下方法之一：

Yi APIs (Yi 官方)
- Early access has been granted to some applicants. Stay tuned for the next round of access!
Yi APIs (复制)

🟢 谁可以使用 Yi?

Everyone! 🙌 ✅

Yi系列模型免费供个人使用、学术用途和商业用途。所有使用必须遵守Yi 系列模型社区许可协议 2.1
如需免费商业使用，您只需填写此表格即可获得 Yi Model 商业许可证。

[ Back to top ⬆️ ]

🪪 许可

此存储库中的源代码已获得 Apache 2.0 license 许可证的许可。Yi系列模型完全开放用于学术研究，免费用于商业用途，申请后自动获得许可。所有使用均须遵守 Yi 系列机型社区许可协议 2.1。免费商业使用，只需发送邮件即可获得官方商业许可。

public.models/Yi-34B-Chat-4bits/version.titleV1version.current

public.models
/
Yi-34B-Chat-4bits
/
version.title