日志在写入Logstore之前,写入处理器可以对数据进行预处理,例如数据过滤、字段提取、字段扩展、数据脱敏等场景。本文介绍如何在日志服务控制台上管理写入处理器。
创建写入处理器
登录日志服务控制台。
进入数据处理器页面。
在Project列表区域,单击目标Project。
在左侧导航栏单击
。
在写入处理器页签,单击创建。在创建处理器面板配置处理器名称、SPL和处理失败,配置完成后单击确定。参数说明如下。
参数
说明
处理器名称
写入处理器的名称。
描述
写入处理器的描述。
SPL
SPL语句。关于SPL语法,更多信息,请参见SPL语法。
处理失败
SPL处理失败后的行为:
保留原始数据
丢弃原始数据
说明这里处理失败仅指SPL执行失败,例如数据不合法导致算子执行异常。不包含SPL语法错误的场景。
如果SPL语法配置错误导致解析失败,默认会保留原始数据。
删除或修改写入处理器
在
页签,查看已创建的处理器列表,您可以单击修改或者删除对目标写入处理器进行管理。如果写入处理器已与Logstore关联,修改配置后,新的设置将在1分钟内生效。此时,新产生的日志将在写入Logstore之前根据最新配置进行预处理。
如果关联的写入处理器被删除,新产生的日志不会进行预处理,Logstore直接写入原始数据。
Logstore关联写入处理器
在目标Project页面,在右侧导航栏单击
,将鼠标悬浮在目标Logstore上,单击 。
在Logstore属性页面,单击右下角修改,在编辑状态下配置写入处理器,选择需要关联的写入处理器,然后单击右下角的保存。
说明关联写入处理器之后,会对新产生的日志生效,您需要等待1分钟左右。
Logstore取消关联写入处理器
在Logstore属性页面,单击右上角修改,在编辑模式单击清空已配置的写入处理器,然后单击右上角的保存。
Logstore取消关联写入处理器后,您需要等待1分钟左右,新产生的原始日志会直接写入到Logstore中。