赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 对象存储
  4. 开发参考
  5. 常用工具
  6. OSS Connector for AIML
  7. OSS Connector for AIML中的数据类型

OSS Connector for AIML中的数据类型

  • OSS Connector for AIML
  • 发布于 2025-04-21
  • 0 次阅读
文档编辑
文档编辑

本文为您介绍OSS Connector for AI/ML中的数据类型。

数据类型

说明

DataObject仅支持只写模式或者只读模式,只读模式支持顺序读和随机读,只写模式仅支持顺序写。

DataObject作为OSS Connector for AI/ML中的数据类型,示例如下:

class DataObject:
    key: str
    size: int
    label: str

    def __enter__(self) -> DataObject: ...   
    def __exit__(self, exc_type, exc_val, exc_tb): ...
    def tell(self) -> int: ...
    def seek(self, offset: int, whence: int) -> int: ...
    def read(self, count: int) -> bytes: ...
    def readinto(self, buf) -> int: ...
    def write(self, data) -> int: ...
    def close(self) -> int: ...
    def copy(self) -> DataObject: ...

属性方法

DataObject实现了常用的IO接口,具体请参见下表。

属性/方法

类型/返回值类型

描述

key

str

对象的唯一标识符。

size

int

对象的实际大小,单位为字节。

label

str

对象的标签,用于分类或标记。

__enter__

DataObject

进入上下文管理器的方法,返回DataObject实例本身。

__exit__

None

退出上下文管理器的方法,用于释放资源或执行清理操作。

tell

int

在只读模式下获取当前文件指针的位置,单位为字节。

seek

int

在只读模式下设置文件指针的位置,单位为字节。

read

bytes

在只读模式下从当前文件指针位置开始读取指定数量的字节,并以bytes类型返回。

readinto

int

在只读模式下从当前文件指针位置开始读取数据到缓冲区中,返回实际读取的字节数。

write

int

在只写模式下将数据写入当前文件指针位置,返回写入的字节数。

close

int

关闭文件,释放相关资源。

copy

DataObject

创建一个新的DataObject实例,包含当前实例的所有属性。

相关文章

安装OSS Connector for AIML 2025-04-21 17:17

当您需要在PyTorch训练任务中高效地访问和存储OSS中的数据集时,您可以安装OSS Connector for AI/ML。 说明

配置OSS Connector for AIML 2025-04-21 17:17

为了确保访问OSS的请求来自合法的用户或应用程序,并正确初始化OSS Connector for AI/ML,您需要进行相应的配置。 前提条件 已安装OSS Connector。具体操作,请参见安装OSS Connector for AI/ML。

使用OSS中的数据构建适用于随机读取的映射式数据集 2025-04-21 17:17

OssMapDataset类型的Dataset适用于内存充足、数据量不大需要频繁进行随机访问和并行处理的场景,本文为您介绍如何通过OssMapDataset构建Dataset。 前提条件 已安装并配置OSS Connector for AI/ML。具体操作,请参见安装OSS Connector fo

使用OSS中的数据构建适用于流式顺序读取的迭代式数据集 2025-04-21 17:17

OssIterableDataset类型的Dataset适用于内存有限或数据量巨大的场景,主要适用于顺序处理且对随机访问和并行处理要求不高的场景。本文为您介绍如何通过OssIterableDataset构建Dataset。 前提条件 已安装并配置OSS Connector for AI/ML。具体操

在OSS中存储和访问检查点 2025-04-21 17:17

本文为您介绍如何使用OssCheckpoint直接从OSS中读写检查点(模型训练过程中保存的特定时间点的模型状态)。 前提条件 已安装并配置OSS Connector for AI/ML。具体操作,请参见安装OSS Connector for AI/ML和配置OSS Connector for AI

OSS Connector for AIML中的数据类型 2025-04-21 17:17

本文为您介绍OSS Connector for AI/ML中的数据类型。 数据类型 说明 <

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号