模型部署

一、简介

模型部署模块，提供将模型部署为在线推理服务的能力。供三方用户通过API接口调用或者Web应用的方式对接模型业务应用。在线服务在部署时提供进入容器调试的功能及快速验证服务情况的在线测试功能，部署后根据业务情况进行扩缩容的能力。帮助用户快速在算力调度服务平台上部署复杂模型，调试及验证的流程。

二、模型部署流程

登录控制台，在左侧导航栏中选择“模型部署”，进入“在线服务”列表，可以看到一键部署的创建按钮。

1. 一键部署

无需配置推理参数，使用已经配置好推理参数的我的模型，仅需选择加速卡资源，即可启动推理服务。
（1）首先选择一个部署区域，开始创建模型部署服务。
（2）填写服务信息：服务名称、服务来源，参数详情见下表说明：

参数名称	说明
服务名称	服务的名称，提交创建服务后不可修改。
服务来源	（1）我的模型：只显示控制台模型管理中配置了推理参数的模型，未按要求配置推理参数的模型不显示。

（3）选择资源配置：加速卡型号、加速卡数量、实例数等关键信息，参数详情见下表说明：

参数名称	说明
加速卡型号	选择所需加速卡
加速卡数量	当前节点可用的最大加速卡数量
实例数	启动几个相同的实例

（4）确认服务配置信息无误后，点击创建进行服务部署。服务状态会进入部署中。该过程中将为您调度计算资源，创建容器服务，需要等待一段时间，待服务成功完成部署时，服务状态将变为运行中。

三、模型部署服务使用

模型部署成服务后，可以进行线上预测：

四、模型部署功能管理

模型部署完成后，可以提供以下功能：

1. 在线测试

服务部署完毕后，可在服务详情页“在线测试”功能里，对服务发起请求，查看服务是否调通。使用方式与Postman类似。

2. 服务监控

模型名称：实例应用的模型 资源使用监控提供4个指标：CPU平均使用率、内存使用率、GPU平均使用率、GPU显存平均使用率。
服务调用情况提供2个指标：调用失败数/调用总次数。
入口：列表页内，在操作中的更多功能里，选择“查看监控”。跳转至服务监控详情。

3. 部署事件

记录部署过程中调度系统产生的日志。

入口：服务详情中直接切换至“部署事件”即可。

五、常见问题

1.计费从何时开始？
只有服务状态为运行中时，才进入计费周期，其他状态都不收费；