跳到主要内容

Serving 服务编写(迁移说明)

predictor.py 方式已下线,Serving 统一采用 start.sh 启动脚本流程。

你需要做什么

如果你之前使用的是 predictor.py,请迁移到以下结构:

project/
├── start.sh
├── requirements.txt # 可选
├── conda-packages.txt # 可选
├── dependencies.sh # 可选
└── <model files and source>

start.sh 的要求

  • 启动你的 HTTP 服务
  • 监听 80 端口
  • 确保服务在前台运行(不要在脚本末尾直接退出)

推荐迁移步骤

  1. 将原 predictor.py 中的模型加载与推理逻辑抽离到普通 Python 模块(如 app.pyserver.py
  2. 用 FastAPI、Flask、Gradio 或其他框架暴露 HTTP 接口
  3. start.sh 中安装依赖并启动服务进程
  4. 本地验证接口后再创建 ServingVersion

参考文档