赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据加工
  6. 数据加工(新版)
  7. 创建数据加工(新版)任务

创建数据加工(新版)任务

  • 数据加工(新版)
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

日志服务支持您使用数据加工(新版)功能,基于SPL规则消费源Logstore中的数据,并将SPL规则处理结果写入到的目标Logstore中。您也可以对加工后的数据进行查询和分析,进一步发掘数据价值。本文介绍如何在日志服务控制台上创建数据加工任务。

前提条件

  • 已采集数据到日志服务。具体操作,请参见数据采集概述。

  • 如果您使用的是RAM用户,则需要先授予RAM用户数据加工操作权限。具体操作,请参见授权RAM用户操作数据加工。

操作步骤

  1. 登录日志服务控制台。

  2. 进入数据加工页面。

    1. 在Project列表区域,单击目标Project。

    2. 在日志存储 > 日志库页签中,单击目标Logstore。

    3. 在查询与分析页面,单击数据加工。

  3. 在页面右上角,选择数据的时间范围。

    选择时间范围后,请确认原始日志页签中存在日志。

  4. 在编辑框中,输入SPL语句。

    SPL语法请参见SPL语法。

  5. 预览数据。

    1. 在原始数据页签中单击加入测试数据,或者在测试数据页签中,手动输入测试数据。

      image

    2. 点击image按钮,执行调试运行,详情请参考调试SPL规则。

  6. 创建数据加工任务。

    1. 单击保存数据加工(新版)。

    2. 在创建数据加工任务(新版)面板中,配置如下信息,然后单击确定。

    参数

    说明

    任务名称

    数据加工任务的名称。

    显示名称

    数据加工显示的名称。

    任务描述

    数据加工任务的描述。

    授权方式

    您可以通过如下方式授予数据加工任务读取源Logstore中数据的权限。

    • 默认角色:授予数据加工任务使用阿里云系统角色AliyunLogETLRole来读取源Logstore中的数据。单击授权系统角色AliyunLogETLRole,根据页面提示完成授权。更多信息,请参见通过默认角色访问数据。

      重要

      如果您使用的是RAM用户,需要由阿里云账号先完成授权。

      已完成授权的阿里云账号,无需再次授权。

    • 自定义角色:授予数据加工任务使用自定义角色来读取源Logstore中的数据。

    您需先授予自定义角色读取源Logstore数据的权限,然后在角色ARN中输入您自定义角色的ARN。如何授权,请参见通过自定义角色访问数据。

    存储目标

    目标名称

    存储目标的名称。存储目标中包括Project、Logstore等配置。

    目标Region

    选择目标Project所在地域。

    目标Project

    用于存储数据加工结果的目标Project名称。目标Project可以通过SPL规则动态指定,详情请参见动态目标Project/Logstore输出。如果SPL中动态指定,则使用该Project,否则使用当前配置的默认Project。

    重要

    SPL规则动态指定的Project须与当前配置的Region、授权相匹配。

    目标库

    用于存储数据加工结果的目标Logstore名称。目标Logstore可以通过SPL规则动态指定,详情请参见动态目标Project/Logstore输出。如果SPL中动态指定,则使用该Logstore,否则使用当前配置的默认Logstore。

    重要

    SPL规则动态指定的Logstore须与当前配置的Region、授权、以及Project相匹配。

    授权方式

    您可以通过如下方式授予数据加工任务写目标Logstore的权限。

    • 默认角色:授予数据加工任务使用阿里云系统角色AliyunLogETLRole将数据加工结果写入目标Logstore。 单击授权系统角色AliyunLogETLRole,根据页面提示完成授权。更多信息,请参见通过默认角色访问数据。

    重要

    如果您使用的是RAM用户,需要由阿里云账号先完成授权。

    已完成授权的阿里云账号,无需再次授权。

    • 自定义角色:授予数据加工任务使用自定义角色将数据加工结果写入目标Logstore。您需先授予自定义角色写数据到目标Logstore的权限,然后在角色ARN中输入您自定义角色的ARN。如何授权,请参见通过自定义角色访问数据。

    写入结果集

    需要写入至当前目标Logstore的数据集,数据加工(新版)处理结果的数据集详情请参见数据集说明。一个输出目标可配置多个数据集,单个数据集也可被多个目标选中。

    加工范围

    时间范围

    (数据接收时间)

    指定数据加工任务的时间范围,详细说明如下:

    • 所有:从Logstore接收到第一条日志的时间点开始数据加工任务,直到加工任务被手动停止。

    • 某时间开始:指定数据加工任务的开始时间,从该时间点开始加工,直到加工任务被手动停止。

    • 特定时间范围:指定数据加工任务的起止时间,加工任务执行到指定时间后自动停止。

    高级选项

    高级参数配置

    对于加工语句中需要使用的密码信息(例如数据库连接密码),日志服务支持使用键值对形式保存在密钥对中,即您可以在加工语句中通过res_local("key")进行引用。

    单击+,可添加多个键值对。例如config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj,表示RDS实例所属的专有网络ID。高级参数配置

后续步骤

创建数据加工任务后,您可以执行如下操作。

  • 在数据加工概览页面中,查看数据加工任务详情,修改加工任务,停止加工任务等操作。更多信息,请参见管理数据加工(新版)任务。

  • 在目标Logstore中,执行查询和分析操作。具体操作,请参见查询与分析快速指引。

相关文章

数据加工(新版)概述 2025-04-22 10:55

日志服务提供可托管、可扩展、高可用的数据加工(新版)服务。数据加工(新版)服务可应用于数据规整与信息提取、数据清洗与过滤、数据分发至多目标Logstore等数据处理场景。 加工原理 日志服务提供的数据加工(新版)功能,通过托管实时数据消费的任务,结合日志服务SPL规则消费功能,实现对日志数据的实时加

数据加工新旧版本对比与升级 2025-04-22 10:55

本文介绍数据加工(新版)与数据加工(旧版)服务的差异,以及如何选择数据加工(新版)与数据加工(旧版)。 新旧版本对比

授权 2025-04-22 10:55

您使用数据加工功能时,涉及数据加工操作权限和数据访问权限。 如果您使用的是阿里云账号,直接执行加工任务访问数据授权。

快速入门 2025-04-22 10:55

本文以网站访问日志为例,为您介绍完整的数据加工流程,帮助您快速熟悉数据加工功能及其操作。 准备工作 已创建名为web-project的Project。具体操作,请参见管理Project。

创建数据加工(新版)任务 2025-04-22 10:55

日志服务支持您使用数据加工(新版)功能,基于SPL规则消费源Logstore中的数据,并将SPL规则处理结果写入到的目标Logstore中。您也可以对加工后的数据进行查询和分析,进一步发掘数据价值。本文介绍如何在日志服务控制台上创建数据加工任务。 前提条件 已采集数据到日志服务。

管理数据加工(新版)任务 2025-04-22 10:55

本文介绍如何在日志服务控制台上管理数据加工(新版)任务,包括查看任务详情与状态,修改、启动、暂停和删除任务。 查看任务详情

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号