赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据处理

数据处理

  • 操作指南
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

如果您需要在日志数据写入Logstore前对数据进行处理,例如数据过滤、字段提取、字段扩展、数据脱敏,可以使用写入处理器(IngestProcessor)。

工作原理

image
  • 通过Logtail采集、日志服务SDK、Web Tracking功能等方式采集日志数据,数据会先经过写入处理器(IngestProcessor),然后写入Logstore。数据处理过程在日志服务中完成,不会占用客户端的资源。

  • 写入处理器、查询和分析日志、数据加工(新版)都支持SPL语法。

使用场景

  • 字段提取:从原始日志字段中通过正则表达式、Key-Value格式、JSON等解析方式提取出新的字段。

  • 扩展字段:为原始日志添加新的字段。

  • 丢弃字段:删除原始日志的部分字段。

  • 数据脱敏:将原始日志的敏感信息进行脱敏处理。

  • 数据过滤:丢弃原始日志的部分数据。

使用限制

  • 写入处理器个数、SPL语句长度、写入处理器个数等配额限制,请参见写入处理器(数据处理)。

功能计费

写入处理器是按照数据处理过程中消耗的计算资源量进行计费,计费单位为OCU。

可观测资源额度OCU(Observability Capacity Unit)是阿里云云原生可观测推出的新版计费单位,可根据每小时资源使用情况自动统计OCU用量,中国站公共云OCU的定价为0.15元/个。

日志服务计算型功能收费计划逐步通过OCU进行计量,以用户实际消耗的计算资源作为计量的度量维度。一个OCU的性能约等于0.5 Core CPU、2 GB内存、3000 IOPS,在计算OCU的总数时,会按照消耗的CPU核心数、内存大小和IOPS三个维度分别计算三个OCU数量,然后取三个OCU数量的最大值作为OCU的最终值,用于计费。

假设您的计算作业消耗了1 Core CPU,2GB内存,3000 IOPS,则这个作业消耗2个OCU。在一个计量周期(1小时)内,计算平均消耗的OCU可参考:数据写入处理器处理1GB数据,大约消耗1/3个OCU。数据加工(新版)处理1GB数据,大约消耗1/3个OCU。规则消费处理1GB数据,约消耗0.3个OCU。

OCU的计费信息,请参见按写入数据量计费模式计费项和按使用功能计费模式计费项。

相关文章

数据处理 2025-04-22 11:06

如果您需要在日志数据写入Logstore前对数据进行处理,例如数据过滤、字段提取、字段扩展、数据脱敏,可以使用写入处理器(IngestProcessor)。 工作原理

告警 2025-04-22 11:06

日志服务告警是一站式的告警监控、降噪、事务管理、通知分派的智能运维平台。 产品架构 日志服务告警系统由告警监控、告警管理、通知(行动)管理等子系统组成,具体架构如下图所示:

SPL语法 2025-04-22 11:06

本文介绍日志服务SPL语言的基本信息,包括工作原理、语法、指令表达式等。

机器学习语法 2025-04-22 11:06

日志服务机器学习功能为您提供多种功能丰富的算法和便捷的调用方式,您可以在日志查询分析中通过分析语句和机器学习函数调用机器学习算法,分析某一字段或若干字段在一段时间内的特征。针对时序数据分析场景,日志服务提供了丰富的时序分析算法,可以帮助您快速解决时序预测、时序异常检测、序列分解、多时序聚类等场景问题

SLS案例中心 2025-04-22 11:05

日志服务SLS案例中心提供查询、分析、可视化、加工、开源兼容等相关的经典案例,帮助您更快上手日志服务。 操作步骤

资源管理概述 2025-04-22 11:05

日志服务提供控制台、API、SDK、CLI等方式管理日志项目(Project)、日志库(Logstore)等资源。 前提条件 拥有阿里云账号,未注册请参见注册阿里云

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号