ACK Edge集群GPU资源监控最佳实践

步骤一：开启阿里云Prometheus监控

1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择运维管理 > Prometheus 监控。

3. 在Prometheus 监控页面，按照页面提示完成相关组件的安装和监控大盘的检查。

   控制台会自动安装组件、检查监控大盘。安装完成后，您可以单击各个页签查看相应监控数据。

步骤二：添加边缘GPU节点

添加边缘GPU节点具体操作，请参见添加GPU节点。

步骤三：在接入的GPU节点上部署应用以验证GPU相关指标正确性

本示例以运行TensorFlow Benchmark项目为例进行介绍，采用独占GPU调度能力，您还可以在边缘GPU节点上运行共享GPU的应用，请参见通过共享GPU调度实现多卡共享。

1. 通过kubectl连接集群。

2. 创建Job任务，并将其保存为tensorflow.yaml文件。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: tensorflow-benchmark-exclusive
   spec:
     parallelism: 1
     template:
       metadata:
         labels:
           app: tensorflow-benchmark-exclusive
       spec:
         containers:
         - name: tensorflow-benchmark
           image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
           command:
           - bash
           - run.sh
           - --num_batches=5000000
           - --batch_size=8
           resources:
             limits:
               nvidia.com/gpu: 1 #申请1张GPU卡。
           workingDir: /root
         restartPolicy: Never

3. 在集群中部署Job任务。

   kubectl apply -f tensorflow.yaml

步骤四：查看GPU监控大盘

1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择运维管理 > Prometheus 监控。

3. 在Prometheus 监控页面，单击GPU 监控页签。

   • 单击集群GPU监控-集群维度页签，可查看集群维度的大盘，关于大盘详细介绍，请参见查看集群维度GPU监控大盘。

   • 单击集群GPU监控-节点维度页签，可查看GPU节点维度的大盘。关于大盘详细介绍，请参见查看节点维度GPU监控大盘。

步骤五：查看边缘GPU节点监控指标

GPU监控使用的GPU Exporter在兼容开源DCGM Exporter提供的监控指标的基础上，根据某些业务场景，增加了自定义指标。关于DCGM Exporter的更多信息，请参见DCGM Exporter。

GPU监控中所涉及的GPU监控指标包括DCGM支持的指标和自定义指标，您可以通过以下操作查看GPU相关的监控指标。

1. 登录ARMS控制台。

2. 在左侧导航栏选择指标中心 > 指标探索。

3. 在页面顶部下拉框选择目标实例。

4. 在A区域设置查询指标，然后单击Run Query。