赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 对象存储
  4. 操作指南
  5. 数据处理
  6. 基本概念
  7. 功能配置
  8. 批处理

批处理

  • 功能配置
  • 发布于 2025-04-21
  • 0 次阅读
文档编辑
文档编辑

使用批处理对存储空间(Bucket)中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。

说明

新版数据处理功能API、SDK支持在IMM服务接入点中的地域进行使用。

注意事项

  • 批处理将对满足条件的所有文件生成对应数据处理任务,请使用文件较少的前缀进行测试并验证数据处理效果。

  • 暂停批处理将立即停止生成新的数据处理任务,但已经提交生成的数据处理任务将会继续正常运行。

  • 输出路径应避免以输入路径为前缀,否则将导致触发器循环触发和源文件被覆盖等非预期行为。

  • 输出路径不能以/结尾,请填写包含扩展名的完整输出文件路径,文件名支持使用变量。关于变量的更多信息,请参见变量。

  • 输出路径以非/结尾时,文件名需要至少包含一个变量,否则多个输出文件将会互相覆盖。

  • 使用{key}、{barename}、{basename}变量作为输出路径时,请确认输出文件和输入文件路径不同,否则将导致源文件被覆盖以及循环触发。

创建批处理

  1. 登录OSS管理控制台。

  2. 在左侧导航栏,单击Bucket列表,然后单击目标Bucket。

  3. 在左侧导航栏,选择数据处理。

  4. 根据需要处理的文件类型,选择文档处理、媒体处理或其他由智能媒体管理 (IMM) 提供的数据处理能力(以下以文档处理为例进行介绍)。

  5. 单击批处理页签,然后单击创建批处理。

  6. 在创建批处理面板进行输入配置、输出配置、权限配置、通知配置的设置。

    image

    参数

    说明

    输入存储桶

    当前需要创建批处理的文件所在的Bucket。

    选择模式

    可根据需要选中选择文件或选择前缀。

    • 选择文件:选择特定的多个文件进行数据处理。

    • 选择前缀:对指定目录中满足特定规则的文件进行数据处理。

    输入路径

    当选择模式选中选择文件时,可选择一个或多个需要进行数据处理的文件。

    路径前缀

    当选择模式选中选择前缀时,可选择文件的路径前缀,配合过滤规则制定要进行数据处理的文件。

    过滤规则

    当选择模式选中选择前缀时,指定路径前缀和过滤规则对要处理的文件进行过滤。

    • 全部:对路径前缀指定的目录中所有文件进行处理。

    • 文件前缀:对路径前缀指定的目录中文件名匹配到特定前缀的文件进行数据处理,多个前缀以半角逗号(,)分隔。

    • 文件后缀:对路径后缀指定的目录中文件名匹配到特定后缀的文件进行数据处理,多个后缀以半角逗号(,)分隔。

    样式

    选择文件的处理样式。如果没有可以选择的样式,可单击下拉列表中的添加样式,添加新的样式。

    输出路径

    选择处理后文件的存储路径。

    不支持以正斜线(/)结尾的路径。建议您使用变量,否则多个任务的输出结果会互相覆盖。具体操作,请参见变量。

    服务角色

    授权给IMM服务以访问其他云资源(例如OSS)的权限,建议使用服务角色AliyunIMMBatchTriggerRole。没有服务角色时,您可以在云资源访问授权页面创建角色。

    消息队列

    选择MNS主题。 任务结束时支持以消息通知的方式将处理结果发送到MNS。具体操作,请参见快速入门概述。

  7. 单击确定。

    批处理创建成功后会对每个存量文件生成对应的任务进行数据处理。执行任务会产生相应的费用。更多信息,请参见计费项。

查询批处理

  1. 登录OSS管理控制台。

  2. 在左侧导航栏,单击Bucket列表,然后单击目标Bucket。

  3. 在左侧导航栏,选择数据处理。

  4. 根据需要处理的文件类型,选择文档处理、媒体处理或其他由智能媒体管理 (IMM) 提供的数据处理能力。

  5. 选中批处理页签,查看批处理列表,单击页面下方翻页按钮可查看上一页或下一页。

    image

    批处理状态说明如下表所示。

    状态

    说明

    就绪

    任务就绪,刚创建的任务处于就绪状态。

    运行中

    正在执行,正常执行的任务状态。

    成功

    任务执行完成。

    暂停

    任务暂停。

    失败

    任务失败,任务执行出错,且无法自动恢复。

  6. 在批处理ID搜索框输入批处理ID,单击搜索按钮可以搜索指定的批处理。

  7. 单击操作列的详情可以查看批处理详细信息。

  8. 单击批处理ID前的展开按钮,可以查看批处理的所有任务信息,可以根据源文件路径和状态来搜索任务,单击操作列的详情可以查看任务详细信息。

    image

相关文章

样式 2025-04-21 18:16

您可以在一个样式(Style)中包含多个处理参数,快速实现复杂的媒体、文档或图片处理操作。 说明 新版数据处理功能API、SDK支持在IMM服务接入点中的地域进行使用。

任务 2025-04-21 18:16

异步处理以任务的形式对文件进行处理,请求完成时会返回任务ID,之后可以通过任务ID查询任务状态。本文介绍如何使用异步任务进行文件处理。 说明 新版数据处理功能API、SDK支持通过IMM服务

批处理 2025-04-21 18:16

使用批处理对存储空间(Bucket)中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。 说明 新版数据处理功能API、SD

触发器 2025-04-21 18:16

使用触发器可以对存储空间(Bucket)中的增量文件进行批量处理。例如,您可以将新增的.docx文件转换成.pdf格式,或将.mov文件转码为.mp4等。与批处理不同,触发器只会对创建触发器之后OSS内新增的文件进行处理,而不会处理存量文件。 说明

管道 2025-04-21 18:16

管道是一种可以实现多种处理任务顺序执行的机制。您可以通过管道将多个处理任务串联起来,依次对文件进行不同的处理。 访问规则 URL通过处理参数

变量 2025-04-21 18:16

在使用数据处理功能时,每个Object都会触发一个任务,任务中需要指定处理后的文件保存路径。为了避免文件覆盖,需要保证输出路径为动态路径。您可以在输出路径中引用源文件的信息,如Bucket、文件名、上传时间等。例如:将视频截帧任务的输出路径指定为oss://test-bucket/{dirname}

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号