Serving 服务编写(迁移说明)
predictor.py 方式已下线,Serving 统一采用 start.sh 启动脚本流程。
你需要做什么
如果你之前使用的是 predictor.py,请迁移到以下结构:
project/
├── start.sh
├── requirements.txt # 可选
├── conda-packages.txt # 可选
├── dependencies.sh # 可选
└── <model files and source>
start.sh 的要求
- 启动你的 HTTP 服务
- 监听
80端口 - 确保服务在前台运行(不要在脚本末尾直接退出)
推荐迁移步骤
- 将原
predictor.py中的模型加载与推理逻辑抽离到普通 Python 模块(如app.py、server.py) - 用 FastAPI、Flask、Gradio 或其他框架暴露 HTTP 接口
- 在
start.sh中安装依赖并启动服务进程 - 本地验证接口后再创建 ServingVersion