赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据处理
  6. 管理写入处理器

管理写入处理器

  • 数据处理
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

日志在写入Logstore之前,写入处理器可以对数据进行预处理,例如数据过滤、字段提取、字段扩展、数据脱敏等场景。本文介绍如何在日志服务控制台上管理写入处理器。

创建写入处理器

  1. 登录日志服务控制台。

  2. 进入数据处理器页面。

    1. 在Project列表区域,单击目标Project。

    2. 在左侧导航栏单击资源 > 数据处理器。

  3. 在写入处理器页签,单击创建。在创建处理器面板配置处理器名称、SPL和处理失败,配置完成后单击确定。参数说明如下。

    参数

    说明

    处理器名称

    写入处理器的名称。

    描述

    写入处理器的描述。

    SPL

    SPL语句。关于SPL语法,更多信息,请参见SPL语法。

    处理失败

    SPL处理失败后的行为:

    • 保留原始数据

    • 丢弃原始数据

    说明
    • 这里处理失败仅指SPL执行失败,例如数据不合法导致算子执行异常。不包含SPL语法错误的场景。

    • 如果SPL语法配置错误导致解析失败,默认会保留原始数据。

删除或修改写入处理器

在数据处理器 > 写入处理器页签,查看已创建的处理器列表,您可以单击修改或者删除对目标写入处理器进行管理。

说明
  • 如果写入处理器已与Logstore关联,修改配置后,新的设置将在1分钟内生效。此时,新产生的日志将在写入Logstore之前根据最新配置进行预处理。

  • 如果关联的写入处理器被删除,新产生的日志不会进行预处理,Logstore直接写入原始数据。

image

Logstore关联写入处理器

  1. 在目标Project页面,在右侧导航栏单击image,将鼠标悬浮在目标Logstore上,单击image > 修改。

    image

  2. 在Logstore属性页面,单击右下角修改,在编辑状态下配置写入处理器,选择需要关联的写入处理器,然后单击右下角的保存。

    说明

    关联写入处理器之后,会对新产生的日志生效,您需要等待1分钟左右。

    image

Logstore取消关联写入处理器

在Logstore属性页面,单击右上角修改,在编辑模式单击image清空已配置的写入处理器,然后单击右上角的保存。

说明

Logstore取消关联写入处理器后,您需要等待1分钟左右,新产生的原始日志会直接写入到Logstore中。

image

相关文章

快速入门 2025-04-22 10:53

当您为Logstore关联了数据写入处理器后,可以通过处理器对日志数据进行处理。例如将某网站的访问日志(单行文本)采集到Logstore,您可以创建一个写入处理器,解析原始日志,提取出有效的日志字段,进行查询和分析。 前提条件

授权RAM用户进行数据处理 2025-04-22 10:53

如需使用RAM用户进行数据处理,必须为RAM用户授予相应的权限策略。本文介绍具体的授权步骤。 操作步骤

管理写入处理器 2025-04-22 10:53

日志在写入Logstore之前,写入处理器可以对数据进行预处理,例如数据过滤、字段提取、字段扩展、数据脱敏等场景。本文介绍如何在日志服务控制台上管理写入处理器。 创建写入处理器 登录

数据处理常见问题 2025-04-22 10:53

本文介绍日志服务中数据处理器的常见问题。 Logstore关联写入处理器后,删除了写入处理器,对数据写入有什么影响? 会直接写入原始数据。

写入处理器使用场景 2025-04-22 10:53

写入处理器可在日志数据写入Logstore前对数据进行处理,例如字段修改,字段解析,数据过滤和数据脱敏。本文介绍写入处理器的配置方法,以及使用场景示例。 前提条件 已创建Project、标准型Logstore并完成日志采集配置。具体操作,请参见创建项目Project、创建L

使用写入处理器处理云产品日志 2025-04-22 10:53

由于云产品日志通常由系统自动生成,用户无法直接控制其内容,因此可以通过配置写入处理器来处理这些日志。文中列举了部分常用的数据处理方式作为参考。 前提条件 已创建Project、标准型Logstore并完成日志采集配置。具体操作,请参见创建项目

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号