208
云计算
负载均衡
产品简介
产品价格
快速入门
用户指南
实践操作
常见问题
购买指南
云服务器
产品简介
计费规则
购买指导
控制台使用指南
常见问题
云数据库
产品简介
计费规则
购买指导
快速入门
连接实例
控制台使用指南
对象存储
产品简介
控制台使用指南
程序员百科
Python
百度文心千帆大模型平台使用指南-怎么创建模型压缩任务?

产品推荐:

1、安全稳定的云服务器租用,2核/2G/5M仅37元,点击抢购>>>

2、高防物理服务器20核/16G/50M/200G防御仅350元,点击抢购>>>

3、百度智能建站(五合一网站)仅880元/年,点击抢购>>> 模板建站(PC+手机站)仅480元/年,点击抢购>>>



点击这里点击这里申请百度智能云特邀VIP帐号,立即体验文心千帆>>>

百度文心千帆大模型平台使用指南-怎么创建模型压缩任务?

创建模型压缩任务

登录到文心千帆大模型操作台,在左侧功能列选择模型压缩,进入模型评估主任务界面。

点击“创建压缩任务”按钮,进入新建压缩任务页面。(若没有该按钮,请查看任务计费说明)

image.png

由用户填写评估任务所需的基本信息、压缩配置、资源配置。

基本信息

填写压缩任务名称、压缩任务描述。

image.png

压缩配置

  • 选择源模型: 此处支持选择用户希望压缩的模型,支持从『我的模型』中选择(不支持选择预置模型)。具体支持范围详见模型压缩支持范围 。
  • 模型创建方式:选择压缩后模型的保存方式,支持保存为已有模型新版本(默认为最新版本)或保存为新模型(默认V1版本)。
  • 压缩策略: 当前默认支持 量化压缩>INT8 策略。

image.png

资源配置

配置模型压缩的资源环境和计算节点数后,点击“确认”按钮开始进行模型压缩任务。(详细计费规则请见任务计费说明)

image.png

任务计费说明

当前模型压缩功能限时免费。

模型压缩支持范围

模型家族模型压缩支持支持策略及预期效果
ERNIE-Botxx
ERNIE-Bot-turboxx
BLOOMZ-7B量化压缩-INT8:显存占用降低约50%、推理时延与压缩前基本一致

注:量化压缩是一种将模拟量转换为离散量的方法,它可以模型参数的存储字节数压缩。INT8代表将模型参数压缩至8位字节。


这条帮助是否解决了您的问题? 已解决 未解决

提交成功!非常感谢您的反馈,我们会继续努力做到更好! 很抱歉未能解决您的疑问。我们已收到您的反馈意见,同时会及时作出反馈处理!