数据过滤与清洗
2025-04-22 10:55
您可以通过SPL指令和SQL函数过滤与清洗您所采集的海量日志数据，实现数据格式标准化。本文介绍过滤与清洗数据的常见场景和相关操作。 场景1：过滤日志（where指令） 您可以使用where指令过滤日志。常用规则如下所示：
您可以通过SPL指令和SQL函数过滤与清洗您所采集的海量日志数据，实现数据格式标准化。本文介绍过滤与清洗数据的常见场景和相关操作。 场景1：过滤日志（where指令） 您可以使用where指令过滤日志。常用规则如下所示：
处理日期时间，将方便您对日志后续查询与可视化展示。本文向您介绍使用转换函数进行日期时间数据类型转换。 概念解释 SLS SPL语法中的日期时间处理主要涉及三种数据类型：日期
数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露，降低敏感数据泄露的风险，保护用户权益。本文介绍日志服务数据加工（新版）过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 常见脱敏场景包括手机号、银行卡号、邮箱、IP、AK、身份证号、网址、字符串等
本文档介绍正常形式的CVS格式日志和非正常形式的CVS格式日志如何解析。 正常形式的CSV格式日志
Nginx访问日志记录了用户访问的详细信息，解析Nginx访问日志对业务运维具有重要意义。本文介绍如何使用正则表达式函数解析Nginx访问日志。 日志服务支持通过SPL的正则表达式解析Nginx日志。现以一条Nginx成功访问日志为例，介绍如何使用正则表达式解析Nginx成功访问日志。
在大数据、高并发场景下的Java应用中，分析Java报错日志并提供运维指导，可降低运营维护成本。日志服务支持采集各云产品的Java报错日志，本文介绍使用新版数据加工解析Java报错日志。 前提条件 已采集各SLS、OSS、SLB、RDS的Java错误日志到cloud_product_error_lo
本文档介绍如何使用SPL语句提取字符串键值对。 关键字提取 字符串动态键值对提取分为关键字提取、值提取、关键字加工和值加工。常用方案为采用parse-kv指令。以k1:
本文档主要为您介绍如何使用日志服务的数据加工功能，从复杂字符串中解析出JSON对象。 从复杂字符串中解析出JSON对象，并展开特定字段