百度文心千帆大模型平台使用指南-服务管理使用说明 | |||||||||||||||||||||||||||||||||||||||||||||||||
产品推荐: 1、安全稳定的云服务器租用,2核/2G/5M仅37元,点击抢购>>>; 2、高防物理服务器20核/16G/50M/500G防御仅350元,点击抢购>>> 3、百度智能建站(五合一网站)仅880元/年,点击抢购>>> 模板建站(PC+手机站)仅480元/年,点击抢购>>> 4、阿里云服务器2核2G3M仅99元/年、2核4G5M仅199元/年,新老同享,点击抢购>>> 5、腾讯云服务器2核2G4M仅99元/年、新老同享,点击抢购>>> 点击这里申请百度智能云特邀VIP帐号,立即体验文心千帆>>> 百度文心千帆大模型平台使用指南-服务管理使用说明 平台支持将模型发布为在线服务,同时在服务发布后对服务进行详情查看和版本更新等操作。 登录到文心千帆大模型操作台,在左侧功能列选择服务管理,进入服务管理主任务界面。 发布服务选择服务管理列表查看中的“创建服务”按钮,跳转至服务发布界面。 服务配置当模型发布为在线服务后,该模型下不同的模型版本仅能在此在线服务URL下更新版本,且仅支持同种大模型算法进行更新服务,建议您在训练时,同一训练任务使用相同的基础大模型进行训练。
资源配置资源配置支持公共资源池和私有资源池的选择。服务发布在公共资源池时,不保证QPS,请求可能存在排队的情况;服务发布在私有资源池时,服务独占资源,可以设定对应的算力单元来保证QPS。
大模型与资源配置的对应关系
特别注意1. 服务发布在私有资源池后,服务调用仍需按照对应大模型服务调用价格付费 2. 服务在私有资源池可配置的算力单元(预估QPS)受选择的生效时间限制,生效时间与预估QPS的关系如下: 小于1个月:预估QPS可达上限为2 3. 资源配置的生效时间如选择当天起算,则起始时刻为提交订单的时刻,到期时刻为对应结束日期的同样时刻;如起始日期选择为未来的某一天,则起始时刻为未来这一天的00:00:00,到期时刻为到期日期当天的23:59:59。 例一,今天是2023年6月14日下午14:28:30,购买6月14日至6月15日私有资源池租赁商品,则生效时间为:6月14日14:28:30 - 6月15日14:28:30,生效时长为1天 例二,今天是2023年6月14日下午14:28:30,购买6月15日至6月16日私有资源池租赁商品,则生效时间为:6月15日00:00:00 - 6月16日23:59:59,生效时长为2天 4. 申请发布后,服务发布失败、账单异常等情况,请在百度智能云控制台内提交工单反馈。 生成API的使用流程可参考公有云推理服务的使用流程。 列表查看公有云服务支持对已经发布的服务按服务条目为粒度分行展示。如下图所示: 服务详情服务详情中可查看本次服务的基本信息和历史版本内容。
更新服务在线服务支持服务的版本更新,更新来源为模型的其他版本,历史版本将会在服务详情中进行展示。 服务上/下线在线服务支持对已发布的服务指定版本或者已下线的服务进行上线,同时也可对已发布的服务进行下线操作。 1)对于暂停服务的模型服务版本,可以服务详情版本列表的“上线”按钮。无需其他操作,审核通过后即可恢复暂停服务前的版本服务。 2)运行中的多版本服务,点击“服务详情”,可以对指定版本进行单独上线,平滑版本更替,不会直接影响正在运行中的版本服务。 3)对于运行中的服务,已经确认暂时不需要,可以进行暂时下线工作,可以在服务列表的操作列直接操作,也可以到服务详情-版本列表中选择“下线”。 如遇上线失败等特殊情况,请提交工单反馈。 如遇待发布状态,可以选择“资源付费”,详情参考发布模型的资源配置列,价格可参考价格文档内容。 本功能中涉及到的控制台内容详情可查看控制台。 |