赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 对象存储
  4. 开发参考
  5. 常用工具
  6. 命令行工具ossutil 2.0
  7. 最佳实践
  8. 批量解冻文件

批量解冻文件

  • 最佳实践
  • 发布于 2025-04-21
  • 0 次阅读
文档编辑
文档编辑

归档、冷归档或深度冷归档存储类型的数据在存储时为了降低成本而被冻结无法直接读取,您可以使用ossutil 2.0提供的restore(解冻文件)命令对文件进行批量解冻,完成解冻后支持访问。

说明

归档存储类型的文件支持开启归档直读功能,而冷归档和深度冷归档文件则必须通过解冻操作才能访问。

前提条件

  • 已开通OSS服务。

  • 已创建存储空间。

  • 已安装ossutil 2.0命令行工具。

  • 阿里云账号默认拥有解冻文件的权限。如果您需要通过RAM用户或者STS的方式进行解冻,您必须具有oss:RestoreObject和oss:ListObjects权限。具体操作,请参见为RAM用户授权自定义的权限策略。

批量解冻

ossutil 2.0 提供了多种方式来执行批量解冻操作,允许您根据业务需求灵活选择最合适的方案。

  • 通过指定前缀实现批量解冻位于相同前缀下的所有目标文件。

  • 通过读取包含待解冻对象的文件列表或清单批量执行解冻任务。

注意事项

  • 批量解冻文件数较多时,可以通过修改--days的值,在解冻时配置更长的解冻有效天数,确保在批量解冻完成时所有解冻对象都处于可读状态,然后通过主动清理解冻副本的方式,提前删除解冻副本。

  • 建议您指定-j参数增加 ossutil v2.0 的并发度以提升命令执行效率,在机器 CPU 和内存支持的情况下,推荐设置-j 128。

  • 可以通过对Meta字段过滤,跳过已解冻或正在解冻中的Object。

  • 批量解冻时,错误结果会存在ossutil_output/文件夹下。

命令格式

ossutil restore oss://bucket/object [flags]

参数

类型

说明

-r, --recursive

/

进行递归操作。启用此选项时,将对存储空间中所有符合条件的对象进行操作;否则,仅处理指定路径的对象。

-j,--job

/

多文件操作的并发任务数,默认值为3,取值范围为1~10000。

--days

int

解冻天数。取值范围1~365。

说明

在批量操作中,如果对象包含多种存储类型且 --days 设置超出某种类型的最大支持值,则会自动调整为该类型的最大值。

例如:归档存储类型最多支持 7 天,深度冷归档最多支持 365 天。当 --days 设置为 100 时,归档存储对象将自动调整为 7 天,而深度冷归档对象仍为 100 天。

--metadata-include

stringArray

指定需包含的元数据规则,即仅显示符合这些规则的Object。

--metadata-exclude

stringArray

指定需排除的元数据规则,符合条件的Object将不被显示。

--list-format

string

列表文件的格式,取值:plain、inventory。

--list-manifest-from

string

当列表文件的格式为 inventory 时,必须配置此参数以读取文件中的描述信息。

关于该命令支持的更多参数,请参见参数说明。

示例

解冻固定前缀下的全部对象

以下命令用于解冻存储空间examplebucket中前缀为prefix的全部对象。

ossutil restore -r oss://examplebucket/prefix -j 128

解冻特定存储类型的对象

说明

ossutil v2.0 中多条件过滤的匹配规则:

  • include 类规则从左到右逐条处理,一旦匹配上,则会立即包含该文件或目录。

  • exclude 类规则也是从左到右匹配,一旦匹配上,则会立刻排除该文件或目录。

因此如果需要筛选所有不含 Restore 信息的冷归档对象,需要先指定参数--metadata-exclude "x-oss-restore=*",后指定参数--metadata-include "x-oss-storage-class=ColdArchive"。

以下命令用于解冻所有存储空间examplebucket中存储类型为冷归档的所有对象。

ossutil restore -r oss://bucket --metadata-include "x-oss-storage-class=ColdArchive" -j 128

以下命令用于解冻存储空间examplebucket中未被解冻过的冷归档对象,并设置解冻后的对象保持可读状态的持续时间为7天。

ossutil restore -r oss://bucket -j 128 --days=7 --metadata-exclude "x-oss-restore=*" --metadata-include "x-oss-storage-class=ColdArchive" -j 128

使用本地列表解冻

您可以通过读取包含待解冻对象的文件列表执行解冻任务。

对象的列表格式:每行包含一个对象,格式为标准 OSS 对象路径,如内容如下:

oss://examplebucket/object1
oss://examplebucket/object2
oss://examplebucket/object3

以下命令用于解冻本地列表object_list.txt中未被解冻过的对象,并设置解冻后的对象保持可读状态的持续时间为7天。

ossutil restore list://object_list.txt --days=7 --no-check-status
说明

基于本地列表进行批量解冻时,添加--no-check-status参数忽略解冻前的对象状态检查,可进一步提升执行效率(v2.0.4 以上版本支持)。

使用本地清单解冻

说明

执行清单任务后,会在清单结果中生成一个 csv.gz 和 manifest.json 文件。从清单文件里解冻对象需要用到这两个文件,关于如何创建清单请参见存储空间清单。

以下命令用于通过 OSS 清单批量解冻所有清单中的冷归档对象。

ossutil restore list://object_list.csv.gz --list-format inventory --list-manifest-from manifest.json --days=7 --no-check-status --metadata-include "x-oss-storage-class=ColdArchive"
相关文章

定时同步任务 2025-04-21 17:22

在日常的文件管理工作中,我们常常需要将本地文件与云端存储进行同步,以确保数据的安全备份和便捷访问。阿里云对象存储(OSS)是一款稳定可靠的云存储服务,能够满足我们对于文件存储和管理的需求。本文为您介绍如何通过配置定时任务,将本地文件自动同步至 OSS ,让您的文件管理更加高效便捷。 操作场景 某文件

上传下载时限速 2025-04-21 17:22

在进行大文件上传下载至OSS时,如果存在网络环境复杂多变或需要同时处理多任务等情况,您可以使用ossutil的限速功能实现对文件传输速度的有效控制,从而更好地满足数据的管理与使用需求,提升数据处理效率。 说明 该限

断点文件续传 2025-04-21 17:22

在网络不稳定的情况下,连接中断可能导致文件传输失败,使用 ossutil 2.0 的断点续传功能从中断的地方继续上传或下载,从而提升传输效率。在 ossutil 2.0 中,默认情况下不启用断点续传。如果需要使用此功能,请在执行cp命令时指定 --checkpoint-dir 参数来启用断点续传。

下载大文件到机械硬盘 2025-04-21 17:21

本文将详细为您介绍如何通过ossutil下载大文件到机械硬盘,顺利完成文件传输任务。 使用场景 在大文件下载的过程中,我们经常会遇到网络不稳定的情况,这可能导致文件传输中断,给工作带来极大的不便,对于外挂硬盘的场景,文件传输中断的可能性高。ossutil 提供了断点续传功能,能够很好地解决因网络问题

基于对象元数据进行筛选 2025-04-21 17:21

本文将详细为您介绍如何通过ossutil根据对象的元数据进行过滤,筛选出您需要的内容。 使用场景 对于包含大量对象(Object)的Bucket,直接浏览或处理会非常耗时。因此,ossutil 2.0提供了一系列高效的基于元数据进行过滤的选项,允许用户根据特定元数据属性对Object进行精准筛选。

批量解冻文件 2025-04-21 17:21

归档、冷归档或深度冷归档存储类型的数据在存储时为了降低成本而被冻结无法直接读取,您可以使用ossutil 2.0提供的restore(解冻文件)命令对文件进行批量解冻,完成解冻后支持访问。 说明 归档存储类型的文件支持开启归档直读功能,而冷归档和深度冷归档文件则必须

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号