206
云计算
负载均衡
产品简介
产品价格
快速入门
用户指南
实践操作
常见问题
购买指南
云服务器
产品简介
计费规则
购买指导
控制台使用指南
常见问题
云数据库
产品简介
计费规则
购买指导
快速入门
连接实例
控制台使用指南
对象存储
产品简介
控制台使用指南
程序员百科
Python
阿里云服务器ECS使用教程-基于SCC实例规格族的RDMA驱动安装说明

产品推荐:

1、安全稳定的云服务器租用,2核/2G/5M仅37元,点击抢购>>>

2、高防物理服务器20核/16G/50M/200G防御仅350元,点击抢购>>>

3、百度智能建站(五合一网站)仅880元/年,点击抢购>>> 模板建站(PC+手机站)仅480元/年,点击抢购>>>


如果您是基于CentOS 7.9或CentOS 8.4版本的自定义镜像创建的ecs.sccc7或ecs.sccg7规格族的超级计算集群SCC(Super Computing Cluster)实例,且需要实现多台实例之间使用RoCE RDMA通信,则需要参考本文在实例内手动安装RDMA驱动,来保证您可以正常使用RDMA功能。

前提条件

已通过CentOS 7.9或CentOS 8.4版本的自定义镜像创建了ecs.sccc7或ecs.sccg7规格族的SCC实例。具体操作,请参见使用自定义镜像创建实例

背景信息

SCC实例规格族ecs.sccc7和ecs.sccg7配置了RDMA网卡,处于同一可用区同一高可用集群内的多台实例之间可以使用RoCE RDMA网卡通信。阿里云的SCC实例默认仅支持特定的SCC版操作系统镜像,如果是基于CentOS 7.9或CentOS 8.4版本的自定义镜像创建的ecs.sccc7或ecs.sccg7规格的实例,默认没有安装RDMA驱动,需手动安装。
说明
除以上情况,SCC实例默认已安装了RDMA驱动,无需再手动安装。
  • 有关超级计算集群SCC的更多信息,请参见超级计算集群概述
  • 有关RDMA网卡的更多信息,请参见使用ERI

操作步骤

  1. 远程连接已创建的SCC实例。
    具体操作,请参见连接方式概述
  2. 依次运行以下命令,安装相关依赖包。
    1. 安装DKMS(Dynamic Kernel Module Support)。
      yum install dkms -y
    2. 运行以下命令,下载MFT工具安装包。
      wget https://www.mellanox.com/downloads/MFT/mft-4.17.0-106-x86_64-rpm.tgz
    3. 运行以下命令,解压MFT工具安装包。
      tar zvxf mft-4.17.0-106-x86_64-rpm.tgz
    4. 依次运行以下命令,进入MFT工具并运行该工具。
      cd mft-4.17.0-106-x86_64-rpm
      ./install.sh
  3. 依次运行以下命令,分别下载SCC实例规格族定制的驱动包。
    wget https://scc7-pkg.oss-cn-shanghai.aliyuncs.com/nic-drivers-mellanox-rdma-4.0.0-8.noarch.rpmwget https://scc7-pkg.oss-cn-shanghai.aliyuncs.com/nic-libs-mellanox-rdma-4.0.0-1.x86_64.rpmwget https://scc7-pkg.oss-cn-shanghai.aliyuncs.com/rdma-service-eflops-3.1.1u4-lossyv4.noarch.rpmwget https://scc7-pkg.oss-cn-shanghai.aliyuncs.com/ali-bonding-1.0.0-4.noarch.rpm
  4. 依次运行以下命令,分别安装SCC实例规格族定制的驱动包。
    rpm -ivh nic-drivers-mellanox-rdma-4.0.0-8.noarch.rpmrpm -ivh nic-libs-mellanox-rdma-4.0.0-1.x86_64.rpmrpm -ivh rdma-service-eflops-3.1.1u4-lossyv4.noarch.rpmrpm -ivh ali-bonding-1.0.0-4.noarch.rpm
  5. /etc/dhcp/dhclient.conf配置文件中添加bootp-broadcast-always;配置。
    1. 打开/etc/dhcp/dhclient.conf文件。
      vim /etc/dhcp/dhclient.conf
    2. i键进入编辑模式,在配置文件中添加一行bootp-broadcast-always;配置信息。
    3. Esc键退出编辑模式,输入:wq并按下Enter键,保存并退出文件。
  6. 将RDMA网卡(eth1、eth2)绑定到bond0网卡。
    • 新建ifcfg-bond0文件并添加内容。
      1. 运行以下命令,新建ifcfg-bond0文件。
        vim /etc/sysconfig/network-scripts/ifcfg-bond0
      2. i键进入编辑模式,添加以下内容到文件中。
        DEVICE=bond0BOOTPROTO=dhcpTYPE="ethernet"ONBOOT=yesUSERCTL=noPEERDNS=noBONDING_OPTS="miimon=100 mode=4 xmit_hash_policy=layer3+4"DEFROUTE=no
      3. Esc键退出编辑模式,输入:wq并按下Enter键,保存并退出文件。
    • 新建ifcfg-eth1文件并添加内容。
      1. 运行以下命令,查看eth1网卡的ether地址。
        ifconfig -a
      2. 运行以下命令,新建ifcfg-eth1文件。
        vim /etc/sysconfig/network-scripts/ifcfg-eth1
      3. i键进入编辑模式,添加以下内容到文件中。
        DEVICE=eth1TYPE="Ethernet"HWADDR=xx:xx:xx:xx:xx:xxBOOTPROTO=noneONBOOT=yesMASTER=bond0SLAVE=yesPEERDNS=noETHTOOL_OPTS="autoneg on"RX_MAX=`ethtool -g "$DEVICE" | grep 'Pre-set' -A1 | awk '/RX/{print $2}'`RX_CURRENT=`ethtool -g "$DEVICE" | grep "Current" -A1 | awk '/RX/{print $2}'`
        [[ "$RX_CURRENT" -lt "$RX_MAX" ]] && ethtool -G "$DEVICE" rx "$RX_MAX"
        其中,HWADDR是eth1网卡的ether地址,请您替换为实际值。
      4. Esc键退出编辑模式,输入:wq并按下Enter键,保存并退出文件。
    • 新建ifcfg-eth2文件并添加内容。
      1. 运行以下命令,查看eth2网卡的ether地址。
        ifconfig -a
      2. 运行以下命令,新建ifcfg-eth2文件。
        vim /etc/sysconfig/network-scripts/ifcfg-eth2
      3. i键进入编辑模式,添加以下内容到文件中。
        DEVICE=eth2TYPE="Ethernet"HWADDR=xx:xx:xx:xx:xx:xxBOOTPROTO=noneONBOOT=yesMASTER=bond0SLAVE=yesPEERDNS=noETHTOOL_OPTS="autoneg on"RX_MAX=`ethtool -g "$DEVICE" | grep 'Pre-set' -A1 | awk '/RX/{print $2}'`RX_CURRENT=`ethtool -g "$DEVICE" | grep "Current" -A1 | awk '/RX/{print $2}'`
        [[ "$RX_CURRENT" -lt "$RX_MAX" ]] && ethtool -G "$DEVICE" rx "$RX_MAX"
        其中,HWADDR是eth2网卡的ether地址,请您替换为实际值。
      4. Esc键退出编辑模式,输入:wq并按下Enter键,保存并退出文件。
  7. 运行以下命令,激活bond0网卡。
    ifup bond0
    当出现如下结果时,表示bond0网卡激活成功。
    Determining IP information for bond0... done.
  8. 运行以下命令,确认bond0已获取RDMA IP地址。
    ifconfig bond0
    当查询到bond0网卡与eth1、eth2网卡的ether地址相同时,表示RDMA驱动安装完成。


这条帮助是否解决了您的问题? 已解决 未解决

提交成功!非常感谢您的反馈,我们会继续努力做到更好! 很抱歉未能解决您的疑问。我们已收到您的反馈意见,同时会及时作出反馈处理!