赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 对象存储
  4. 操作指南
  5. 数据湖管理
  6. OSS-HDFS服务
  7. 数据管理
  8. 使用回收站

使用回收站

  • 数据管理
  • 发布于 2025-04-21
  • 0 次阅读
文档编辑
文档编辑

使用OSS-HDFS回收站时,需要客户端将待删除文件挪至指定目录,并由服务端定时清理该目录下的数据。

删除文件说明

  1. 当您从OSS-HDFS服务非强制删除文件时,文件不会立即被删除,而是转至/user/<username>/.Trash/Current目录下。

  2. 经过30分钟后,Current目录下的文件会被转至/user/<username>/.Trash/<timestamp>目录下。

    说明

    <timestamp>以Unix时间戳的形式展示,表示自UTC时间1970年01月01号开始的秒数。<timestamp>用于表示某一时间段内被删除的文件,会被归类到带时间戳的目录下。

  3. 经过指定天数后,/user/<username>/.Trash/<timestamp>目录被永久删除。

    回收站中的数据保存时间默认是3天,支持自定义数据保存时间为1~14天。例如,回收站指定保存时间为5天,则您在执行删除操作的5天内,可以随时从对应的时间戳目录下恢复删除的文件。以下步骤用于设置回收站中数据的保存天数:

    1. 登录OSS管理控制台。

    2. 单击左侧导航栏的Bucket列表,然后单击目标Bucket。

    3. 在左侧导航栏,选择数据湖管理 > HDFS服务。

    4. 在HDFS服务页签,单击回收站区域的Dingtalk_20240527145039.jpg,修改回收站中数据的保存天数。

    5. 单击确定。

说明

回收站功能是由客户端和服务端配合形成。客户端负责将待删除文件挪到.Trash目录下;服务端默认开启定时清理,负责维护/user/<username>/.Trash目录下的定时清理。

Hadoop FileSystem Shell使用回收站功能

在Hadoop FileSystem Shell中,客户端默认开启回收站功能。

说明

仅OSS-HDFS支持使用回收站功能,OSS不支持使用回收站功能。

  • 执行以下删除命令,文件移至回收站,服务端负责清理。

    hadoop fs -rm  oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/a/b/c

    客户端会自动将删除请求转化为移动操作,即hadoop fs -mv oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/a/b/c /user/<username>/.Trash/Current/a/b/c命令。这样,您无需显式管理回收站功能,服务端会负责清理。

  • 使用以下两种方式彻底删除文件并释放存储空间,文件不会移至回收站。

    • 方式一:执行强制删除命令。

      hadoop fs -rm -f oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/a/b/c
    • 方式二:执行删除命令时添加-skipTrash参数。

      hadoop fs -rm -skipTrash  oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/a/b/c

Hadoop生态组件使用回收站功能

Hive、Spark和Flink等组件并不感知OSS-HDFS服务回收站功能的存在,使用FileSystem(HDFS)的Delete接口意味着立即删除。

OSS-HDFS采取了跟开源Hadoop相似的策略。如果您需要使用回收站功能,需要显式地调用FileSystem的rename接口,将目标文件手动挪到/user/<username>/.Trash/Current目录下,由OSS-HDFS服务端负责定期删除。

相关文章

使用冷热分层存储 2025-04-21 18:15

并不是所有OSS-HDFS中存储的数据都需要频繁访问,但基于数据合规或者存档等原因,部分数据仍然需要继续保存。针对以上问题,OSS-HDFS服务支持数据的冷热分层存储,对于经常需要访问的数据以标准类型进行存储,对于较少访问的数据以低频、归档、冷归档或者深度冷归档类型进行存储,从而降低总存储成本。 前

转换元数据 2025-04-21 18:15

OSS-HDFS服务支持在未部署任何导入和导出工具的情况下,直接将OSS元数据转换为OSS-HDFS元数据。 前提条件

使用回收站 2025-04-21 18:15

使用OSS-HDFS回收站时,需要客户端将待删除文件挪至指定目录,并由服务端定时清理该目录下的数据。 删除文件说明 当您从OSS-HDFS服务非强制删除文件时,文件不会立即被删除,而是转至

设置目录配额 2025-04-21 18:15

如果需要限制OSS-HDFS服务的目录容量以及目录下的文件或者子目录的数量,避免因单个目录容量或者目录下的子目录和文件数量过大,出现超额计费的问题,您可以使用目录配额功能。 配额说明 容量配额:目录下(包括子目录和文件)使用空间总和的上限。如果超过容量配额,则在该目录下创建文件或者子目录会失败。

查询用量情况 2025-04-21 18:15

通过OSS管理控制台查询某个Bucket下OSS-HDFS服务的用量情况,不作为计量数据,仅供参考。 操作步骤 登录

Snapshot(通过快照备份和恢复数据) 2025-04-21 18:15

当您希望对OSS-HDFS服务的数据进行备份,在数据发生错误、被误删除时,将数据恢复至可用状态,您可以使用Snapshot命令创建快照。OSS-HDFS服务的快照功能与HDFS的快照功能完全兼容,同时支持目录层级操作。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号