208
云计算
负载均衡
产品简介
产品价格
快速入门
用户指南
实践操作
常见问题
购买指南
云服务器
产品简介
计费规则
购买指导
控制台使用指南
常见问题
云数据库
产品简介
计费规则
购买指导
快速入门
连接实例
控制台使用指南
对象存储
产品简介
控制台使用指南
程序员百科
Python
百度文心千帆大模型平台使用指南-服务管理使用说明

产品推荐:

1、安全稳定的云服务器租用,2核/2G/5M仅37元,点击抢购>>>

2、高防物理服务器20核/16G/50M/200G防御仅350元,点击抢购>>>

3、百度智能建站(五合一网站)仅880元/年,点击抢购>>> 模板建站(PC+手机站)仅480元/年,点击抢购>>>



点击这里点击这里申请百度智能云特邀VIP帐号,立即体验文心千帆>>>

百度文心千帆大模型平台使用指南-服务管理使用说明

平台支持将模型发布为在线服务,同时在服务发布后对服务进行详情查看和版本更新等操作。

登录到文心千帆大模型操作台,在左侧功能列选择服务管理,进入服务管理主任务界面。

发布服务

选择服务管理列表查看中的“创建服务”按钮,跳转至服务发布界面。

服务配置

当模型发布为在线服务后,该模型下不同的模型版本仅能在此在线服务URL下更新版本,且仅支持同种大模型算法进行更新服务,建议您在训练时,同一训练任务使用相同的基础大模型进行训练

image.png

字段内容描述
部署方式公有云部署仅支持公有云部署。
选择模型模型名称必选项,选择对应发布的模型,可以是运行成功的自训练模型或预置模型
选择版本模型版本号必选项,选择对应模型版本。
服务名称用户定义的服务名称必填项,不超过20字,支持中英文
接口地址用户定义的接口地址必填项,仅支持英文,接口地址需要多于5个字符但不能超过20个字符。
同一个账户下的接口地址不支持重复。
其他要求用户反馈内容接口无法满足需求时,在此处填写您的需求,将提交后台统一审核。

资源配置

资源配置支持公共资源池和私有资源池的选择。服务发布在公共资源池时,不保证QPS,请求可能存在排队的情况;服务发布在私有资源池时,服务独占资源,可以设定对应的算力单元来保证QPS。

image.png

字段内容描述
资源池公共资源池、私有资源池服务托管在公共资源池时,不保证服务并发(QPS为1);服务托管在私有资源池时,可设定在线服务部署的算力单元来保障QPS。
生效时间日期选择选择服务运行的开始和结束时间,不可选择早于今天的日期
算力单元设置算力单元数为当前服务部署所占用的算力单元数量。算力单元越多,其可承载的QPS越高,仅支持服务部署所需最小算力单元数的整数倍调整
预估首Tokens时延平台自动生成用于评估在将数据写入持久性存储设备时,系统处理数据并返回给客户端所需的时间。
预估QPS平台自动生成服务运行中产生的并发,受服务和生效时间限制。

大模型与资源配置的对应关系

大模型支持发布的资源池
ERNIE-Bot私有资源池
ERNIE-Bot-turbo私有资源池
BLOOMZ-7B私有资源池
敬请期待...公共资源池

特别注意

1. 服务发布在私有资源池后,服务调用仍需按照对应大模型服务调用价格付费

2. 服务在私有资源池可配置的算力单元(预估QPS)受选择的生效时间限制,生效时间与预估QPS的关系如下:

小于1个月:预估QPS可达上限为2
大于等于1个月,小于3个月:预估QPS可达上限为10
大于等于3个月:预估QPS可达上限为99

3. 资源配置的生效时间如选择当天起算,则起始时刻为提交订单的时刻,到期时刻为对应结束日期的同样时刻;如起始日期选择为未来的某一天,则起始时刻为未来这一天的00:00:00,到期时刻为到期日期当天的23:59:59。

例一,今天是2023年6月14日下午14:28:30,购买6月14日至6月15日私有资源池租赁商品,则生效时间为:6月14日14:28:30 - 6月15日14:28:30,生效时长为1天

例二,今天是2023年6月14日下午14:28:30,购买6月15日至6月16日私有资源池租赁商品,则生效时间为:6月15日00:00:00 - 6月16日23:59:59,生效时长为2天

4. 申请发布后,服务发布失败、账单异常等情况,请在百度智能云控制台内提交工单反馈。

生成API的使用流程可参考公有云推理服务的使用流程。

列表查看

公有云服务支持对已经发布的服务按服务条目为粒度分行展示。如下图所示:

image.png

服务详情

服务详情中可查看本次服务的基本信息和历史版本内容。

  • 基本信息中可查看服务的基本信息并续购私有资源池。续购资源池相关参数可查看发布模型的资源配置项。

image.png

  • 版本列表来源为更新服务。

更新服务

在线服务支持服务的版本更新,更新来源为模型的其他版本,历史版本将会在服务详情中进行展示。

image.png

服务上/下线

在线服务支持对已发布的服务指定版本或者已下线的服务进行上线,同时也可对已发布的服务进行下线操作。

1)对于暂停服务的模型服务版本,可以服务详情版本列表的“上线”按钮。无需其他操作,审核通过后即可恢复暂停服务前的版本服务。

image.png

2)运行中的多版本服务,点击“服务详情”,可以对指定版本进行单独上线,平滑版本更替,不会直接影响正在运行中的版本服务。

image.png

3)对于运行中的服务,已经确认暂时不需要,可以进行暂时下线工作,可以在服务列表的操作列直接操作,也可以到服务详情-版本列表中选择“下线”。

image.png

如遇上线失败等特殊情况,请提交工单反馈

如遇待发布状态,可以选择“资源付费”,详情参考发布模型的资源配置列,价格可参考价格文档内容

本功能中涉及到的控制台内容详情可查看控制台。


这条帮助是否解决了您的问题? 已解决 未解决

提交成功!非常感谢您的反馈,我们会继续努力做到更好! 很抱歉未能解决您的疑问。我们已收到您的反馈意见,同时会及时作出反馈处理!