前往实例创建页。

按照界面提示完成参数配置，创建一台ECS实例。

需要注意的参数如下，其他参数的配置，请参见自定义购买实例。

• 实例：选择实例规格为ecs.gn7i-c16g1.4xlarge。

• 镜像：本文使用已部署好推理所需环境的云市场镜像，名称为ai-inference-solution。

  

• 公网IP：选中分配公网IPv4地址，带宽计费模式选择按使用流量，带宽峰值设置为100 Mbps，以加快模型下载速度。

  

添加安全组规则。

在ECS实例安全组的入方向添加安全组规则并放行50001端口。具体操作，请参见添加安全组规则。

创建完成后，在ECS实例页面，获取公网IP地址。

使用root用户远程连接ECS实例。

该市场镜像中，运行环境及模型都安装在/root目录下，连接实例时需使用root用户。具体操作，请参见通过密码或密钥认证登录Linux实例。

执行如下命令，下载ChatGLM-6B模型。

cd /root/chatglm
git-lfs clone https://huggingface.co/THUDM/chatglm-6b

模型下载大约需要35分钟，当显示如下图所示的回显信息时，说明已下载完成。

执行如下命令，开启WebUI服务。

cd /root/chatglm/ChatGLM-6B
streamlit run web_demo2.py --server.port 50001 &

当出现如下回显的时候，表示启动成功。

在浏览器地址栏输入http://<ECS公网IP地址>:50001，进入Web页面。

在用户命令输入对话框中，输入对话内容（例如中国有几个直辖市?），单击发送，即可开始AI对话。