跳到主要内容

Serving 模型部署

OpenBayes 可将模型部署在服务端进行实时推理。
支持 CPU、GPU 分片等多种资源类型，可满足不同规模的 API 部署需求。

立即注册 OpenBayes

快速简洁

短短几行代码
，即可生成线上服务

根据 Serving 服务（Predictor）模版只需要几行代码，即可完成一个自定义模型的在线推理服务逻辑。无需自己搭建复杂环境，可直接复用 OpenBayes 线上的训练环境镜像。效果 100% 复现

请求统计

内置请求统计
，直观查看性能指标

我们的 Serving 服务可对每次请求进行跟踪，保留完整的请求结果，方便追溯问题事件。

请求指标可以对请求的性能进行分析，还可按不同周期进行筛选。清晰查看性能走向。

自定义镜像

灵活的环境控制
，满足企业定制化需求

私有部署可基于 Docker 创建并使用部署的自定义镜像，可更加灵活的控制部署环境，满足企业生产环境的定制化需求

多版本选择

模型版本控制
，不再为性能对比而发愁

基于 数据仓库 的模型版本控制，可在模型的不同版本之间进行切换，直观对比推理结果

多格式支持

支持主流框架
覆盖多数应用场景

兼容主流框架 PyTorch、ONNX、XGBoost、TensorFlow 的模型格式和保存方法
PyTorch
ONNX
XGBoost
TensorFlow

在线演示

根据不同场景和算力，
提供对应优化的模型推理

Broadway
JSON 输出
请求耗时 … 毫秒
Loading…

高度灵活

支持 OpenBayes 标准的 predictor.py 方式部署。针对高级用户，也可以完全自定义，绕过 OpenBayes 提供的框架，手动编写自定义部署服务。

多框架支持

兼容主流框架的模型格式。支持 PyTorch、XGBoost、TensorFlow 的多种模型文件保存方法

GPU 分片Enterprise-Only

私有部署可将物理 GPU 划分为多个虚拟 GPU，并保证计算资源与显存资源的隔离，大幅提升 GPU 利用效率，降低企业采购成本

平台定价方案

从入门级 CPU，
到专业级高性能 GPU 算力

我们提供了多种类型的算力方案，可满足不同算力需求、不同预算的用户
vGPU
1.49元/小时起
适合初次尝试机器学习及对算力要求较低的用户
免费试用
  • 1x vGPU
  • 8 GB 显存
  • 4 核 vCPU
  • 20 GB 内存
  • 50 GB 工作空间
  • 10 TFLOPS 算力
NVIDIA Tesla T4
2.99元/小时起
适合初次尝试机器学习及对算力要求较低的用户
免费试用
  • 1x NVIDIA T4
  • 16 GB 显存
  • 4 核 vCPU
  • 30 GB 内存
  • 50 GB 工作空间
  • 65 TFLOPS 算力
NVIDIA Tesla V100
11.24元/小时起
适合对性能以及算力有一定需求的高级用户
免费试用
  • 1x NV Tesla V100
  • 16 GB 显存
  • 4 核 vCPU
  • 40 GB 内存
  • 50 GB 工作空间
  • 100 TFLOPS 算力
私有部署
按需定价
适合对硬件以及功能有定制需求的企业级用户
  • 4x-8x NVLink
  • 64+ GB 显存
  • 12+ 多核 CPU
  • 128+ GB 内存
  • 20+ TB 存储空间
  • 1+ PFLOPS 算力

额外存储空间：1 元/GB/月

我们同样提供 CPU 算力，价格低至 0.74元/每小时。立即注册

试运行期间，注册即送

免费 GPU 计算时

vGPU 600 分钟/周；CPU 300 分钟/周

立即注册 OpenBayes

对价格有疑问？您可以 联系在线客服