axin
2025-04-24
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>问题描述centos7.9系统中部署k8s，然后通过Nvidia GPU operator的方式运行Nvidia驱动，发现pod一直不能处于ready状态。问题分析查看Nvidia driver pod event无法获取有用信息，通过查看pod日志收集到以下信息。 问题...
axin
2025-04-24
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文介绍如何配置、使用火山引擎提供的秒级监控功能。说明本功能正在邀测中，如需试用，请联系客户经理申请。操作场景在LLM（Large Language Model，大规模语言模型）训练场景中，常使用TP（Tensor Parallelism）/PP（Pipeline Parallel...
xtyly
2025-04-24
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>搭建训练环境时，可能需要使用容器镜像，本文介绍如何在高性能计算GPU实例（即HPC实例）搭建容器镜像。您也可以参考本文检查您现有的容器镜像是否符合要求。前提条件本文HPC实例的镜像以 Ubuntu 20.04 64位（RDMA） 为例，您也可以任选其他RDMA镜...
xtyly
2025-04-24
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>一个网卡只能绑定一个IP，但是可以为其设置多个IP地址用于连接多个网段，本文介绍如何为单网卡分配多个IP进行RDMA通信。前提条件您已购买高性能计算GPU型hpcpni2实例，具体操作请参见购买高性能计算GPU型实例。操作步骤登录云服务器，具体操作请参见登录Linux实例。执行ip...
xtyly
2025-04-24
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>GPU性能计算器是一个模型性能估算工具，旨在构建AI模型在不同GPU卡型和不同机型上的快速性能评估能力，可自动化计算出特定模型在特定卡型上的预估训练/推理性能数据，提供性能数据来辅助判断选型。使用场景辅助采购决策对于需要搭建大规模计算集群的企业，如人工智能研究实验室、数据中心等，使...
axin
2025-04-23
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>NCCL Tuner Plugin是用于优化NCCL性能的插件，本文介绍如何在gni3cg实例中通过Tuner Plugin优化NCCL通信性能。关键组件关键组件说明实例实例规格：NCCL Tuner Plugin支持以下8卡规格的机型在单机状态下进行allreduce通信。规格详...
axin
2025-04-23
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文主要介绍如何在Docker环境中进行端到端单机/多机GPT训练来判断GPU性能是否达标。背景信息在处理GPU性能问题时，如果执行了HostDiagnose、Easy_NCCL等操作后仍无法定位到异常或者需要模拟真实业务场景时，您可以通过端到端单机/多机GPT训练，模拟用户真实业...
axin
2025-04-23
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文主要介绍如何简便验证高性能计算GPU实例的NCCL性能，节省了依赖安装、编译、配置端口、免密等繁琐步骤。NCCL（Nvidia Collective multi-GPU Communication Library，读作 "Nickel"）是一个提供GPU间通...
axin
2025-04-23
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文介绍如何在高性能计算GPU实例上搭建Slurm计算集群。概述什么是SlurmSlurm（Simple Linux Utility for Resource Management）是一个开源、容错和高度可扩展的集群管理和作业调度系统，适用于大型和小型Linux集群。Slurm的运...
axin
2025-04-23
👉点击这里申请火山引擎VIP帐号，立即体验火山引擎产品>>>本文介绍如何为高性能计算GPU实例手动配置NCCL，从而避免RDMA网络断链，影响业务正常运行。NCCL简介NCCL（Nvidia Collective Communication Library）是NVIDIA的集合通信库，可以在实例内或实例间实现多个GPU的快速通信。操作步骤C...
