赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 对象存储
  4. 开发参考
  5. 常用工具
  6. OSS Connector for AIML
  7. 构建含有OSS Connector for AIML环境的Docker镜像

构建含有OSS Connector for AIML环境的Docker镜像

  • OSS Connector for AIML
  • 发布于 2025-04-21
  • 0 次阅读
文档编辑
文档编辑

本文将为您介绍如何通过Docker构建含有OSS Connector for AI/ML环境的镜像。

前提条件

  • 已安装Docker。

  • 已创建访问凭证配置文件和OSS Connector配置文件。具体操作,请参见配置OSS Connector for AI/ML。

示例

以下示例用于构建包含OSS Connector for AI/ML Python3.12版本的Docker镜像:

  1. 在Linux系统中创建用于构建Docker镜像的文本文件Dockerfile。

    touch Dockerfile
  2. 在Dockerfile文本文件中添加如下配置并保存。

    # 基础镜像,可替换为用户镜像。
    FROM python:3.12.4
    # 设置工作目录。
    WORKDIR /app
    # 将当前目录文件复制到容器内/app目录中,一般用于拷贝项目文件以及所需配置文件。
    COPY . /app
    # 安装OSS Connector for AI/ML。
    RUN pip install osstorchconnector
  3. 执行命令构建Docker镜像。

    命令中的your_image_name为构建的镜像名称,请根据实际需要填写。

    docker build -t your_image_name .
  4. 执行命令启动容器并挂载宿主机上的访问凭证配置文件和OSS Connector配置文件。

    docker run -it --name new-container-name -v /root/.alibabacloud/credentials:/app/credentials -v /etc/oss-connector/config.json:/app/config.json your_image_name bash

    启动完容器后,你将获得一个拥有OSS Connector for AI/ML的容器化环境。该环境中包含OSS Connector配置文件以及访问凭证配置文件,如下图所示。

    image

相关文档

在使用带有OSS Connector for AI/ML的容器化环境进行训练任务时,您可以:

  • 使用OssMapDataset构建适用于随机读取操作的映射式数据集。具体操作,请参见使用OSS中的数据构建适用于随机读取的映射式数据集。

  • 使用OssIterableDataset构建适用于流式顺序访问的可迭代式数据集。具体操作,请参见使用OSS中的数据构建适用于流式顺序读取的迭代式数据集。

  • 使用OssCheckpoint实现OSS中Checkpoint的读写操作。具体操作,请参见使用OssCheckpoint读写checkpoint文件。

相关文章

安装OSS Connector for AIML 2025-04-21 17:17

当您需要在PyTorch训练任务中高效地访问和存储OSS中的数据集时,您可以安装OSS Connector for AI/ML。 说明

配置OSS Connector for AIML 2025-04-21 17:17

为了确保访问OSS的请求来自合法的用户或应用程序,并正确初始化OSS Connector for AI/ML,您需要进行相应的配置。 前提条件 已安装OSS Connector。具体操作,请参见安装OSS Connector for AI/ML。

使用OSS中的数据构建适用于随机读取的映射式数据集 2025-04-21 17:17

OssMapDataset类型的Dataset适用于内存充足、数据量不大需要频繁进行随机访问和并行处理的场景,本文为您介绍如何通过OssMapDataset构建Dataset。 前提条件 已安装并配置OSS Connector for AI/ML。具体操作,请参见安装OSS Connector fo

使用OSS中的数据构建适用于流式顺序读取的迭代式数据集 2025-04-21 17:17

OssIterableDataset类型的Dataset适用于内存有限或数据量巨大的场景,主要适用于顺序处理且对随机访问和并行处理要求不高的场景。本文为您介绍如何通过OssIterableDataset构建Dataset。 前提条件 已安装并配置OSS Connector for AI/ML。具体操

在OSS中存储和访问检查点 2025-04-21 17:17

本文为您介绍如何使用OssCheckpoint直接从OSS中读写检查点(模型训练过程中保存的特定时间点的模型状态)。 前提条件 已安装并配置OSS Connector for AI/ML。具体操作,请参见安装OSS Connector for AI/ML和配置OSS Connector for AI

OSS Connector for AIML中的数据类型 2025-04-21 17:17

本文为您介绍OSS Connector for AI/ML中的数据类型。 数据类型 说明 <

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号