赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 对象存储
  4. 操作指南
  5. 数据湖管理
  6. OSS-HDFS服务
  7. 数据管理
  8. 转换元数据

转换元数据

  • 数据管理
  • 发布于 2025-04-21
  • 0 次阅读
文档编辑
文档编辑

OSS-HDFS服务支持在未部署任何导入和导出工具的情况下,直接将OSS元数据转换为OSS-HDFS元数据。

前提条件

  • 已开通并授权访问OSS-HDFS服务。具体步骤,请参见开通OSS-HDFS服务。

  • 仅华北3(张家口)地域支持将OSS元数据转换为OSS-HDFS元数据。

  • 已提交工单申请使用OSS-HDFS服务的元数据转换功能。

使用限制

  • 不支持将以下类型的OSS元数据转换为OSS-HDFS元数据:归档、冷归档、深度冷归档类型Object、软链接Symlink、通过追加上传方式生成的Appendable类型Object、通过SSE-KMS或者SSE-OSS加密的Object。

  • 转换后的OSS-HDFS元数据仅支持基础的读写操作,不支持Append、Truncate、Concat、randomWrite、XAttr、ACL、Snapshot等接口和操作。

风险说明

元数据转换任务开始执行后,请勿执行以下操作,否则导致转换任务失败。

  • 请勿删除文件

    如果删除被转换的文件,可能导致转换时找不到文件,造成转换任务执行失败。

  • 请勿覆写文件

    如果覆写被转换的文件,可能导致覆写的内容不会被转换。

  • 请勿在OSS-HDFS目的端上传同名文件

    如果在OSS-HDFS目的端上传同名文件,可能导致文件名冲突,造成转换任务执行失败。

  • 请勿修改转换任务执行角色的权限

    如果修改了转换任务执行角色AliyunOSSDLSTransferRole或者AliyunOSSRole的权限,可能导致无权限执行转换任务,造成转换任务执行失败。

  • 请确保OSS中不存在同名文件和文件夹

    如果转换任务配置的前缀匹配了同名文件和文件夹,例如配置的转换任务前缀为dir,OSS中存在文件dir以及文件夹dir/,可能出现只转换文件或者文件夹,或者转换任务失败,具体以任务运行时的导入顺序为准。

  • 文件名不能以空格开头或结尾。

    以空格开头或结尾的文件会转换失败,被记入不符合转换条件的计数。

  • 转换后请务必确认数据完整性。

    转换后请务必再次确保数据完整。原始数据不要立即删除,可以通过转换为归档等方式来保存。

操作步骤

  1. 新建数据转换任务。

    1. 登录OSS管理控制台。

    2. 单击Bucket 列表,然后单击目标Bucket名称。

    3. 在左侧导航栏,选择数据湖管理 > 数据转换。

    4. 单击新建数据转换任务。

      重要

      默认情况下,最多支持配置3条转换任务。

    5. 在数据转换任务配置页面,按以下说明配置必要参数,其他参数保留默认配置。

      参数

      说明

      命中前缀

      指定需要转换的OSS数据前缀,最多支持10个前缀。

      日志存放路径

      指定当前Bucket下用于存储日志的路径。

      授权角色

      下拉选择新建角色,按照页面指引完成AliyunOSSDLSTransferRole角色的创建操作,该角色用于授权数据转换功能访问您的云资源。

      重要

      如果已有AliyunOSSRole角色,也可以选择使用该角色完成授权。

    6. 单击下一步,然后单击确定。

      此时,任务处于空闲状态。

  2. 单击当前任务右侧操作栏下的启动任务。

    此时,任务处于运行中状态,后台扫描命中的文件,大约需要1小时完成扫描。待转换任务完成后,任务将返回空闲状态。

  3. 可选:单击当前任务右侧操作栏下的历史记录,查看导入信息。

    import

    转换完成后,您可以在数据导入目录下查看已成功转换的文件,还可以前往导入的错误信息目录下查看转换失败的原因。

  4. 可选:如果您在上一次转换任务完成后,需要对与指定前缀匹配的OSS元数据再次进行转换,需要先删除已经转换过的数据;或者更改转换前缀,指定不重复的增量文件路径,然后再次单击启动任务。

    重要
    • 转换任务不支持同名文件的重复转换。

    • 执行增量转换任务过程中,虽然最终任务会失败,但仍然会产生临时数据,占用额外的存储空间。因此,在执行重复转换任务失败之后,建议您查看历史记录中数据导入目录下的数据存放地址,及时清理临时数据。

相关文章

使用冷热分层存储 2025-04-21 18:15

并不是所有OSS-HDFS中存储的数据都需要频繁访问,但基于数据合规或者存档等原因,部分数据仍然需要继续保存。针对以上问题,OSS-HDFS服务支持数据的冷热分层存储,对于经常需要访问的数据以标准类型进行存储,对于较少访问的数据以低频、归档、冷归档或者深度冷归档类型进行存储,从而降低总存储成本。 前

转换元数据 2025-04-21 18:15

OSS-HDFS服务支持在未部署任何导入和导出工具的情况下,直接将OSS元数据转换为OSS-HDFS元数据。 前提条件

使用回收站 2025-04-21 18:15

使用OSS-HDFS回收站时,需要客户端将待删除文件挪至指定目录,并由服务端定时清理该目录下的数据。 删除文件说明 当您从OSS-HDFS服务非强制删除文件时,文件不会立即被删除,而是转至

设置目录配额 2025-04-21 18:15

如果需要限制OSS-HDFS服务的目录容量以及目录下的文件或者子目录的数量,避免因单个目录容量或者目录下的子目录和文件数量过大,出现超额计费的问题,您可以使用目录配额功能。 配额说明 容量配额:目录下(包括子目录和文件)使用空间总和的上限。如果超过容量配额,则在该目录下创建文件或者子目录会失败。

查询用量情况 2025-04-21 18:15

通过OSS管理控制台查询某个Bucket下OSS-HDFS服务的用量情况,不作为计量数据,仅供参考。 操作步骤 登录

Snapshot(通过快照备份和恢复数据) 2025-04-21 18:15

当您希望对OSS-HDFS服务的数据进行备份,在数据发生错误、被误删除时,将数据恢复至可用状态,您可以使用Snapshot命令创建快照。OSS-HDFS服务的快照功能与HDFS的快照功能完全兼容,同时支持目录层级操作。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号