赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. GPU云服务器
  4. 产品概述
  5. 产品简介
  6. 什么是神行工具包(DeepGPU)
  7. 什么是GPU容器共享技术cGPU

什么是GPU容器共享技术cGPU

  • 什么是神行工具包(DeepGPU)
  • 发布于 2025-04-14
  • 1 次阅读
文档编辑
文档编辑

GPU容器共享技术cGPU是阿里云基于内核虚拟GPU隔离的容器共享技术。即多个容器共享一张GPU卡,从而实现业务的安全隔离,提高GPU硬件资源的利用率并降低使用成本。

为什么选择cGPU

  • 兼容性好

    不仅适配标准的Docker和Containerd工作方式,而且还无缝兼容Kubernetes(K8s)工作方式。

  • 操作简单

    无需重编译AI应用,运行时无需替换CUDA库。

  • 资源灵活划分

    物理GPU的资源可以进行任意划分。例如,GPU显存动态划分,支持M级划分、GPU利用率动态划分,算力支持最小2%粒度的划分。

  • GPU实例规格无限制

    适用于GPU裸金属实例,虚拟化实例,vGPU实例等各种GPU实例。

  • 应用场景丰富

    支持在离线混部业务(即在线业务和离线业务)、支持CUDA AI和渲染应用场景。

  • 功能强大

    具备高优先级的抢占功能和较高的可运维能力,支持热升级、支持多卡划分功能。

cGPU架构图

GPU容器共享技术cGPU的架构图如下所示:

cGPU架构图

为了提高GPU硬件资源的利用率,需要在单张显卡上运行多个容器,并在多个容器间隔离GPU应用。

cGPU通过自研的内核驱动为容器提供虚拟的GPU设备,在保证性能的前提下隔离显存和算力,为充分利用GPU硬件资源进行训练和推理提供有效保障。您可以通过命令方便地配置容器内的虚拟GPU设备。

相关文章

什么是AI通信加速库DeepNCCL 2025-04-14 19:17

DeepNCCL是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库,在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍DeepNCCL的架构、优化原理和性能说明。 产品简介 DeepNCCL基于NCCL(NVIDIA Collective Communications Li

什么是推理引擎DeepGPU-LLM 2025-04-14 19:17

DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型(Large Language Model,LLM)的推理引擎,在处理大语言模型任务中,该推理引擎可以为您提供高性能的大模型推理服务。 产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎,具有易用性和广泛适用性,旨在优化大语

什么是GPU容器共享技术cGPU 2025-04-14 19:17

GPU容器共享技术cGPU是阿里云基于内核虚拟GPU隔离的容器共享技术。即多个容器共享一张GPU卡,从而实现业务的安全隔离,提高GPU硬件资源的利用率并降低使用成本。 为什么选择cGPU

什么是Deepytorch 2025-04-14 19:17

Deepytorch是阿里云自研的AI加速器,为生成式AI和大模型场景提供训练和推理加速功能。在训练方面,Deepytorch在保障精度的前提下实现端到端训练性能的显著提升,可降低训练成本,提升迭代速度。在推理方面,Deepytorch通过即时编译技术对模型进行推理优化,可实现高效、快速的推理加速效

什么是集群极速部署工具FastGPU 2025-04-14 19:17

FastGPU是一套阿里云推出的人工智能计算极速部署工具。您可以通过其提供的便捷的接口和自动工具,实现人工智能训练和推理任务在阿里云IaaS资源上的快速部署。 FastGPU介绍

什么是Deepytorch Training(训练加速) 2025-04-14 19:17

Deepytorch Training是阿里云自研的AI训练加速器,为传统AI和生成式AI场景提供训练加速功能。本文主要介绍Deepytorch Training在训练加速上的概念、优势及特性等。 Deepytorch Training介绍 Deepytorch Training面向传统AI和生成式

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号