axin
2025-04-23
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文以Ubuntu 20.04的hpcpni2实例为例，介绍在LLaMA多机训练时如何配置RDMA网络，充分发挥GPU算力和RDMA高速网络性能。背景信息LLaMA（Large Language Model Meta AI ）是Meta于2023年2月推出的大型语言模型系统（Lar...
axin
2025-04-23
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文以搭载了一张V100显卡的ecs.g1ve.2xlarge实例，介绍如何在云服务器上利用Llama.cpp执行Llama2-7B模型的量化，并对比基于CPU的推理和基于GPU的推理速度。背景信息Llama.cpp简介Llama.cpp是使用C++语言编写的大模型量化工具，同时也...
axin
2025-04-23
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文以搭载了一张V100显卡的ecs.g1ve.2xlarge实例，介绍如何在GPU云服务器上基于Diffusers搭建SDXL 1.0的base + refiner组合模型。背景信息SDXLStable Diffusion XL（简称SDXL）是最新的图像生成模型，与之前的SD模...
axin
2025-04-23
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文以搭载了一张A100显卡的ecs.pni2.3xlarge为例，介绍如何在GPU云服务器上进行DeepSpeed-Chat模型的微调训练。背景信息DeepSpeed-Chat简介DeepSpeed-Chat是微软新公布的用来训练类ChatGPT模型的一套代码，该套代码基于微软的...
axin
2025-04-23
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文以搭载了一张A10显卡的ecs.gni2.3xlarge实例为例，介绍如何在GPU云服务器上部署ChatGLM-6B大语言模型。背景信息ChatGLM-6B是一个具有62亿参数的、支持中英双语问答的对话语言模型，基于General Language Model（GLM）架构，结...
axin
2025-04-22
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文以搭载了一张A10显卡的ecs.gni2.3xlarge实例为例，介绍如何在GPU云服务器上部署Baichuan大语言模型。背景信息Baichuan-13B是包含130亿参数的开源可商用的大语言模型，在知识问答、聊天、逻辑推理、总结摘要等场景具有良好的表现，在权威的中文和英文...
axin
2025-04-22
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文以搭载了一张A10显卡的ecs.gni2.7xlarge实例为例，介绍如何在GPU云服务器上部署、运行不同参数量级的DeepSeek-R1-Distill模型。背景信息DeepSeek-R1-DistillDeepSeek-R1-Distill是一个基于DeepSeek-R1生...
axin
2025-04-22
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文以2台ecs.hpcpni3ln.45xlarge实例为例，介绍如何在GPU云服务器上部署、运行DeepSeek-R1或DeepSeek-V3模型。背景信息DeepSeek-V3DeepSeek-V3是一款强大的混合专家（MoE）语言模型，其总参数量达到了671 B，每个Tok...
axin
2025-04-22
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>为方便您快速部署DeepSeek模型，火山引擎为您提供了Terraform脚本。该脚本可以自动创建GPU实例，并自动在实例中部署、运行DeepSeek-R1、DeepSeek-V3或不同参数量级的DeepSeek-R1-Distill模型。本文主要介绍如何获取、运行该Terrafo...
axin
2025-04-22
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>创建 高性能计算GPU型hpcpni2 实例后，您可在实例内部手动安装RDMA网络观测性增强插件，用于监控RDMA网络的健康状况。操作场景使用公共镜像创建的未开启“RDMA网络观测性增强”的 高性能计算GPU型hpcpni2 实例，“RDMA网络观测性增强”相关信息请参见创建高性能...
火山引擎GPU云服务器使用指南-HPC-单机/多机NCCL测试（Easy_NCCL）
2025-04-23火山引擎GPU云服务器使用指南-HPC搭建Slurm计算集群
2025-04-23
