赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据加工
  6. 数据加工(旧版)
  7. 数据加工(旧版)常见问题
  8. 如何将同一份日志输出到不同存储目标?

如何将同一份日志输出到不同存储目标?

  • 数据加工(旧版)常见问题
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

本文介绍如何将日志分发到不同存储目标,并且每次输出的日志字段集合不同。

背景信息

如果您需要将日志重复输出到多个目标中,但输出到每个目标的字段集合有所不同。例如,原始日志的字段为f1、f2、f3、f4、f5。

  • 输出到target1时,去掉字段f1和f2,保留其他字段。

  • 输出到target2时,去掉字段f3和f4,保留其他字段。

配置示例

原始日志

__time__ : 1591754815
f1: GET
f2: https
f3: aliyun
f4: 200
f5: standard

加工语法

说明

以下示例涉及的数据加工函数,请参见函数总览。

  1. 用e_set函数为日志新增字段tag: target1, target2。

  2. 用e_split函数根据tag字段将日志分成两份,分别带有字段tag: target1和tag: target2。

  3. 对于带有字段tag: target1的日志,丢弃f1、f2字段,只有f3、f4、f5字段输出到target1。用e_output函数输出后,带有字段tag: target1的日志不再执行后面的加工规则。

  4. 对于带有字段tag: target2的日志,丢弃f3、f4字段。

e_set("tag", "target1, target2")
e_split("tag")
e_if(e_search("tag==target1"), e_compose(e_drop_fields("f1", "f2", regex=False), e_output("target1")))
e_drop_fields("f3", "f4", regex=False)
e_output("target2")

输出到目标target1

__time__ : 1591754815
f3: aliyun
f4: 200
f5: standard

输出到目标target2

__time__ : 1591754815
f1: GET
f2: https
f5: standard

错误配置

如果您使用如下加工语法,则输出到target1的结果满足需求,但target1的结果会直接输入到target2,导致target2的日志丢失f1、f2字段。

e_drop_fields("f1", "f2", regex=False)
e_coutput("target1")
e_drop_fields("f3", "f4", regex=False)
e_output("target2")
相关文章

加工引擎启动错误 2025-04-22 10:53

本文档为您介绍加工引擎启动错误的原因以及排查处理方法。 数据加工任务的第一个环节便是启动加工引擎。该环节产生错误主要是由于在启动加工引擎过程时,检测到您编写的SLS DSL规则存在错误,导致加工引擎内部的安全审核不通过。

加工规则错误 2025-04-22 10:53

本文档为您介绍数据加工规则错误的原因以及排查处理方法。 读取源Logstore数据成功后,加工引擎开始对源Logstore的日志事件进行加工。

源Logstore读取错误 2025-04-22 10:53

本文介绍数据加工服务读取源Logstore错误的原因以及排查处理方法。 加工引擎启动成功后,开始读取源Logstore的数据。数据加工引擎对源Logstore采用流式读取,在加工过程中会持续不断的读取源Logstore中的数据。

资源加载错误 2025-04-22 10:53

本文介绍在数据加工规则中加载资源数据错误的原因及排查处理的方法。 错误处理机制 资源加载错误的处理机制请参见res_log_

目标Logstore输出错误的原因和排查方法 2025-04-22 10:53

本文档为您介绍数据加工服务进行数据加工后,将加工结果写入目标Logstore产生错误的常见原因和排查处理方法。 工作原理 日志事件被加工完之后,会被输出到预先配置好的目标Logstore中。LOG DSL引擎每次读取一个批次的源日志(从1条到近万条不等),数据加工后,并不是加工一条日志就输出一条,而

获取Logstore数据(维表)错误 2025-04-22 10:53

如果加工规则中涉及其他Logstore资源的加载,则有可能会产生资源的加载或刷新错误。本文档主要介绍从其他Logstore获取数据的常见错误以及排查处理方法。 在成功读取源Logstore数据后,加工引擎开始对源Logstore的日志事件进行加工。如果加工规则中涉及OSS、RDS、Logstore等

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号