公有云部署即将模型中的模型部署为在线服务,从而以REST API的方式提供推理预测能力。
公有云部署概要
模型仓库中的模型与公有云部署即在线服务是一一对应的关系,即模型仓库中一个模型包含多个版本时,这些不同的版本只能部署到同一个在线服务中。
在线服务当前仅允许一个模型版本处于上线状态,若上线时有其它模型版本在线,则会将当前版本下线并上线新的版本。
对于在线的模型版本,可以执行扩缩容操作。
服务状态说明
服务状态及其含义如下所示:
模型状态 | 说明 |
---|---|
运行中 | 服务运行中,会产生费用,当不适用时请下线模型 |
休眠中 | 不占用计算资源,不会产生费用,当有新的请求流量时,系统会自动将模型置为运行状态 |
停止 | 无运行的模型,不占用资源,不产生费用,无法处理新的预测请求 |
更新中 | 当执行模型版本切换时,服务处于更新中的状态 |
部署失败 | 由于暂无资源、模型文件不正确等导致模型部署失败,从而无法提供预测服务 |
模型待编辑 | 尚未配置资源的模型处于该状态 |
公有云部署支持的模型类型
模型仓库中的如下类型的模型支持共有云部署:
- 来自BML训练任务的模型,包括脚本调参、Notbeook以及自定义作业
对于用户从本地导入的模型,则如下类型的模型支持公有云部署:
- 框架为PaddlePaddle、TensorFlow、PyTorch的深度学习模型
- 基于Sklearn、XGBoost的机器学习模型
服务休眠策略
服务休眠是指若服务在指定的时长内无请求,则释放资源并进入休眠状态,该状态下不会产生费用,当接受到新的请求后,服务会自动恢复到正常状态(约1分钟),但休眠以及恢复过程中,接收的请求无法正常处理。
休眠策略状态说明:
休眠策略状态 | 说明 |
---|---|
否 | 未配置休眠策略,新建的服务默认无休眠策略,处于该状态 |
生效中 | 表示当前休眠策略处于有效期内 |
未生效 | 表示当前尚未进入休眠策略的有效期 |
已失效 | 表示当前时间已超出了休眠策略的有效期 |