在 OpenBayes 运行通义千问 14B Chat 的 Int4 量化模型。

打开一个新的终端页面
输入命令 python web_ui.py 运行 Gradio demo
按照提示打开链接

$ python web_ui.py 

Try importing flash-attention for faster inference...
Warning: import flash_attn rms_norm fail, please install FlashAttention layer_norm to get higher efficiency https://github.com/Dao-AILab/flash-attention/tree/main/csrc/layer_norm
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 21/21 [00:14<00:00,  1.46it/s]
打开该链接访问: https://open-tutorials-z1l2wohkyonz.gear-c1.openbayes.net/
Running on local URL:  http://0.0.0.0:8080

To create a public link, set `share=True` in `launch()`.

public.tutorials/通义千问 14B Chat Int4 模型 Gradio Democlone

准备体验 OpenBayes？

public.tutorials
/
通义千问 14B Chat Int4 模型 Gradio Demo