赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 消费与投递
  6. 实时消费
  7. 普通消费概述

普通消费概述

  • 实时消费
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

日志服务提供数据实时消费功能,支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。

实时消费

实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据。实时消费是对全量数据的顺序读写,类似于消息中间件Kafka的功能。实时消费支持传入日志服务数据处理SPL语句,服务端返回处理结果,详情请参见基于规则消费日志。

image

说明

实时消费和查询与分析都是读取数据。关于两者的区别,请参见日志消费与查询区别。

应用场景

实时消费适用于流计算、实时计算等场景。实时消费的实时性较强,通常为秒级。您可以自定义存储时间。

功能优势

实时消费具有以下优势:

  • 数据集中

    日志服务已完成不同机器上的数据集中化,您只需通过SDK实时消费采集到的日志服务数据。

  • 分类管理

    您可以利用日志服务的数据分类管理功能,实现不同的应用和产品实时消费不同项目、不同类型的数据。

计费规则

  • 若涉及的Logstore的计费模式为按写入数据量计费模式,实时消费将不产生费用,仅从日志服务公网域名所在接口拉取数据时,会产生外网读取流量(按照压缩后的数据量计算)。具体内容,可参见按写入数据量计费模式计费项。Logstore的计费模式的查看步骤,请参见管理Logstore。

  • 若涉及的Logstore的计费模式为按功能付费模式,实时消费涉及多个计费项,包括读写流量、请求费用等。更多信息,请参见按使用功能计费模式计费项。

消费目标

日志服务支持的实时消费目标如下表所示。

类型

目标

说明

第三方软件

Flume

您可以通过Flume实时消费日志服务的数据。具体操作,请参见Flume消费。

Logstash

您可以通过Logstash实时消费日志服务的数据。具体操作,请参见Logstash消费。

QRadar

QRadar等安全信息与事件管理系统可以通过HTTPS协议或Syslog协议实时消费日志服务的数据。具体操作,请参见通过HTTPS投递日志到SIEM和通过Syslog投递日志到SIEM。

多语言应用

多语言应用(SLS消费协议)

Java、Python、Go等语言的应用作为消费者或消费组消费日志服务的数据。具体操作,请参见通过API消费和通过消费组消费日志。

云产品

函数计算

您可以通过函数计算实时消费日志服务的数据。具体操作,请参见通过函数计算消费日志数据。

Blink

您可以通过实时计算实时消费日志服务的数据。具体操作,请参见实时计算(Flink)消费。

云监控

您可以通过云监控实时消费日志服务的数据。具体操作,请参见云监控消费。

流式计算

Flink

您可以通过流式计算框架Flink实时消费日志服务的数据。具体操作,请参见Flink消费。

Spark

您可以通过流式计算框架Spark实时消费日志服务的数据。具体操作,请参见Spark Streaming消费。

相关文章

普通消费概述 2025-04-22 10:49

日志服务提供数据实时消费功能,支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。 实时消费

基于规则消费概述 2025-04-22 10:49

日志服务提供基于规则的数据实时消费功能,通过SPL可以实现在服务端的数据处理后进行消费。本文介绍基于规则消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。 工作原理 基于规则消费是指第三方软件、多语言应用、云产品、流式计算框架等通过设置SPL实时消费日志服务的数据。SPL是SLS推出的一

消费预览 2025-04-22 10:49

日志服务控制台提供消费预览功能,帮助您通过控制台直接预览Logstore中的部分日志数据。消费预览也是一种日志消费。本文为您介绍消费预览具体步骤。 前提条件 已完成日志消费,更多消费方式,请参见:普通消费概述。

第三方软件 2025-04-22 10:49

日志服务支持将日志投递到SIEM,以确保阿里云上的所有法规、审计与其他相关日志能够导入到您的安全运维中心(SOC)中。 名词解释

实时消费常见问题 2025-04-22 10:49

本文列举了实时消费常见的咨询类问题。 为什么实时消费的速率未达到Shard的读写阈值上限?

通过HTTPS投递日志到SIEM 2025-04-22 10:49

本文通过以Splunk HEC为例来展示如何通过HEC将阿里云相关日志投递到SIEM。 例如当前SIEM(如Splunk)位于组织内部环境(on-premise),而不是云端。为了安全考虑,没有开放任何端口让外界环境来访问此SIEM。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号