在 OpenBayes 使用 LlamaEdge 运行 Yi-34B-Chat 的量化模型。

为了方便大家的使用，在这个模板里，我们已经预先安装好了两种推理文件 llama-chat.wasm 和 llama-api-server.wasm 以及 chatbot UI。

lama-chat.wasm：用于通过 CLI 与大模型交互
llama-api-server.wasm：用于给大模型创建一个和 OpenAI API 兼容的 API server，可以和预先安装好的 Chatbot 一起使用。

以下为运行步骤：

点击上方克隆，克隆当前项目，依据当前模板创建新的训练任务。
打开终端，通过 SSH 访问刚刚开好的机器。
输入以下命令安装 CNCF WasmEdge runtime 以及 ggml plugin。

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml

4.1 通过 CLI 与大模型交互

使用下面的命令行，启动大模型，然后可以通过 CLI 与大模型交互。这里要注意模型所在的路径。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-chat.wasm -p chatml -r '<|im_end|>' -c 1024

4.2 通过 chatbot UI 与大模型交互

使用下面的命令行，创建 API server，这里要注意模型所在的文件夹。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-api-server.wasm -p chatml -r '<|im_end|>' -c 1024

API 服务器启动成功后，你会看到 [INFO] Listening on http://0.0.0.0:8080 的字样。

然后打开一个新的终端窗口，输入下面的命令，将 OpenBayes 的 8080 端口映射到本地。这一步依然需要 SSH 访问的密码

ssh -vNL 8080:localhost:8080 root@ssh.openbayes.com -p30144

映射成功后，就可以在浏览器打开 http://localhost:8080/ 即可通过 chatbot UI 与 Yi-34B-Chat 交互。

相关链接：

public.tutorials/Yi-34B-Chat-GGUF LlamaEdge Democlone

准备体验 OpenBayes？

public.tutorials
/
Yi-34B-Chat-GGUF LlamaEdge Demo