Mixtral-8x7B

Mixtral-8x7B 大型语言模型 (LLM) 是一种预训练的生成式稀疏专家混合模型。在我们测试的大多数基准测试中，Mixtral-8x7B 的性能优于 Llama 2 70B。

有关此模型的完整详细信息，请阅读博客文章。

警告

该存储库包含与模型的 vLLM 服务以及 Hugging Face transformers 库兼容的权重。它基于原始 Mixtral torrent release 版本，但文件格式和参数名称不同。请注意，模型还无法用 HF 实例化。

指令格式

必须严格遵守此格式，否则模型将生成次优输出。

用于构建 Instruct 模型提示的模板定义如下：

<s> [INST] Instruction [/INST] Model answer</s> [INST] Follow-up instruction [/INST]

请注意，和是字符串开头 (BOS) 和字符串结尾 (EOS) 的特殊标记，而 [INST] 和 [/INST] 是常规字符串。

作为参考，以下是在微调期间用于标记指令的伪代码：

def tokenize(text):
    return tok.encode(text, add_special_tokens=False)

[BOS_ID] + 
tokenize("[INST]") + tokenize(USER_MESSAGE_1) + tokenize("[/INST]") +
tokenize(BOT_MESSAGE_1) + [EOS_ID] +
…
tokenize("[INST]") + tokenize(USER_MESSAGE_N) + tokenize("[/INST]") +
tokenize(BOT_MESSAGE_N) + [EOS_ID]

在上面的伪代码中，请注意该tokenize方法不应自动添加 BOS 或 EOS 代币，而应添加前缀空格。

运行模型

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id)

text = "Hello my name is"
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

默认情况下，变压器将以全精度加载模型。因此，您可能有兴趣通过我们在 HF 生态系统中提供的优化来进一步降低运行模型的内存要求。

半精度

注意 float16 精度仅适用于 GPU 设备

点击展开

+ import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

+ model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16).to(0)

text = "Hello my name is"
+ inputs = tokenizer(text, return_tensors="pt").to(0)

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用较低精度（8 位和 4 位）使用 bitsandbytes

点击展开

+ import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

+ model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)

text = "Hello my name is"
+ inputs = tokenizer(text, return_tensors="pt").to(0)

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用 Flash Attention 2 加载模型

点击展开

+ import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

+ model = AutoModelForCausalLM.from_pretrained(model_id, use_flash_attention_2=True)

text = "Hello my name is"
+ inputs = tokenizer(text, return_tensors="pt").to(0)

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

局限性

Mixtral-8x7B Instruct 模型是一个快速演示，表明可以轻松微调基本模型以实现良好的性能。它没有任何调节机制。我们期待与社区合作，研究如何使模型严格遵守护栏，从而允许在需要适度输出的环境中进行部署。

The Mistral AI Team

Albert Jiang, Alexandre Sablayrolles, Arthur Mensch, Blanche Savary, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Emma Bou Hanna, Florian Bressand, Gianna Lengyel, Guillaume Bour, Guillaume Lample, Lélio Renard Lavaud, Louis Ternon, Lucile Saulnier, Marie-Anne Lachaux, Pierre Stock, Teven Le Scao, Théophile Gervet, Thibaut Lavril, Thomas Wang, Timothée Lacroix, William El Sayed.

public.models/Mixtral-8x7B-Instruct-v0.1/version.titleV1version.current

public.models
/
Mixtral-8x7B-Instruct-v0.1
/
version.title