安装OSS Connector for AIML

OSS Connector for AIML
发布于 2025-04-21
0 次阅读

当您需要在PyTorch训练任务中高效地访问和存储OSS中的数据集时，您可以安装OSS Connector for AI/ML。

说明

当前OSS Connector for AI/ML为预览版本，如果您在使用中有任何问题。欢迎通过技术支持联系我们。

部署环境

操作系统：Linux x86-64
glibc：>=2.17
Python：3.8-3.12
PyTorch： >=2.0
使用OSS Checkpoint功能需Linux内核支持userfaultfd
说明
以Ubuntu系统为例，您可以执行sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r)命令确认Linux是否支持userfaultfd，当返回结果中显示CONFIG_USERFAULTFD=y时，则表示内核支持。返回结果显示CONFIG_USERFAULTFD=n时，则表示内核不支持，即无法使用OSS Checkpoint功能。

安装步骤

以下内容为Python3.12版本安装OSS Connector for AI/ML示例：

在Linux操作系统或基于Linux操作系统构建镜像所生成容器空间内，执行pip3.12 install osstorchconnector命令安装OSS Connector for AI/ML。
```
pip3.12 install osstorchconnector
```
执行pip3.12 show osstorchconnector查看是否安装成功。
```
pip3.12 show osstorchconnector
```
当返回结果中显示osstorchconnector的版本信息时表示OSS Connector for AI/ML安装成功。

后续步骤

为了确保OSS Connector for AI/ML能够正常地与OSS进行通信，并正确初始化其相关配置，您需要完成访问凭证配置和OSS Connector的相应设置。具体操作，请参见配置OSS Connector for AI/ML。

相关文章

安装OSS Connector for AIML 2025-04-21 17:17

当您需要在PyTorch训练任务中高效地访问和存储OSS中的数据集时，您可以安装OSS Connector for AI/ML。说明

配置OSS Connector for AIML 2025-04-21 17:17

为了确保访问OSS的请求来自合法的用户或应用程序，并正确初始化OSS Connector for AI/ML，您需要进行相应的配置。前提条件已安装OSS Connector。具体操作，请参见安装OSS Connector for AI/ML。

使用OSS中的数据构建适用于随机读取的映射式数据集 2025-04-21 17:17

OssMapDataset类型的Dataset适用于内存充足、数据量不大需要频繁进行随机访问和并行处理的场景，本文为您介绍如何通过OssMapDataset构建Dataset。前提条件已安装并配置OSS Connector for AI/ML。具体操作，请参见安装OSS Connector fo

使用OSS中的数据构建适用于流式顺序读取的迭代式数据集 2025-04-21 17:17

OssIterableDataset类型的Dataset适用于内存有限或数据量巨大的场景，主要适用于顺序处理且对随机访问和并行处理要求不高的场景。本文为您介绍如何通过OssIterableDataset构建Dataset。前提条件已安装并配置OSS Connector for AI/ML。具体操

在OSS中存储和访问检查点 2025-04-21 17:17

本文为您介绍如何使用OssCheckpoint直接从OSS中读写检查点（模型训练过程中保存的特定时间点的模型状态）。前提条件已安装并配置OSS Connector for AI/ML。具体操作，请参见安装OSS Connector for AI/ML和配置OSS Connector for AI

OSS Connector for AIML中的数据类型 2025-04-21 17:17

本文为您介绍OSS Connector for AI/ML中的数据类型。数据类型说明 <

目录