赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 消费与投递
  6. 实时消费
  7. 第三方软件

第三方软件

  • 实时消费
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

日志服务支持将日志投递到SIEM,以确保阿里云上的所有法规、审计与其他相关日志能够导入到您的安全运维中心(SOC)中。

名词解释

  • SIEM:安全信息与事件管理系统(Security Information and Event Management),如Splunk,IBM QRadar等。

  • Splunk HEC:Splunk的HTTP事件接收器(Splunk HTTP Event Collector),一个 HTTP或HTTPS接口,用于接收日志。

部署建议

  • 系统参数:Linux(如Ubuntu x64)操作系统。

  • 硬件参数:

    • 2.0+ GHz X 8核。

    • 16 GB内存,推荐32GB。

    • 1 Gbps网卡。

    • 至少2 GB可用磁盘空间,建议10 GB以上。

  • 网络参数:

    从组织内的环境到阿里云的带宽应该大于数据在阿里云端产生的速度,否则日志无法实时消费。假设数据产生速度均匀,峰值为平时的2倍左右,每天产生1 TB原始日志。数据传输为5倍压缩的场景下,推荐带宽应该在4 MB/s(32 Mbps)左右。

  • Python语言:我们用Python语言进行消费。Java 语言用法,请参考通过消费组消费日志。

Python SDK

  • 推荐使用标准CPython解释器。

  • 日志服务的Python SDK可以使用python3 -m pip install aliyun-log-python-sdk -U命令进行安装。

  • 更多日志服务Python SDK的使用,请参见User Guide。

协同消费库

协同消费库(Consumer Library)是日志服务中对日志进行消费的高级模式,提供了消费组的概念对消费端进行抽象和管理,和直接使用SDK进行数据读取的区别在于,用户无需关心日志服务的实现细节,只需要专注于业务逻辑,另外,消费者之间的负载均衡、failover 等用户也都无需关心。

在日志服务中,一个日志库(Logstore)下面会有多个分区(Shard),协同消费库将 shard 分配给一个消费组下面的消费者,分配方式遵循以下原则:

  • 每个shard只会分配到一个消费者。

  • 一个消费者可以同时拥有多个shard。

新的消费者加入一个消费组,这个消费组的 shard 从属关系会调整,以达到消费负载均衡的目的,但是上面的分配原则不会变,分配过程对用户透明。

协同消费库的另一个功能是保存 checkpoint,方便程序故障恢复时能接着从断点继续消费,从而保证数据不会被重复消费。

Spark Streaming、Storm 以及 Flink Connector 都以 Consumer Library 作为基础实现。

投递方式

推荐使用日志服务消费组构建程序实现实时消费,然后通过HTTPS或者Syslog来发送日志给SIEM。

  • HTTPS投递方式请参考通过HTTPS投递日志到SIEM。

  • Syslog投递方式请参考通过Syslog投递日志到SIEM。

相关文章

普通消费概述 2025-04-22 10:49

日志服务提供数据实时消费功能,支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。 实时消费

基于规则消费概述 2025-04-22 10:49

日志服务提供基于规则的数据实时消费功能,通过SPL可以实现在服务端的数据处理后进行消费。本文介绍基于规则消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。 工作原理 基于规则消费是指第三方软件、多语言应用、云产品、流式计算框架等通过设置SPL实时消费日志服务的数据。SPL是SLS推出的一

消费预览 2025-04-22 10:49

日志服务控制台提供消费预览功能,帮助您通过控制台直接预览Logstore中的部分日志数据。消费预览也是一种日志消费。本文为您介绍消费预览具体步骤。 前提条件 已完成日志消费,更多消费方式,请参见:普通消费概述。

第三方软件 2025-04-22 10:49

日志服务支持将日志投递到SIEM,以确保阿里云上的所有法规、审计与其他相关日志能够导入到您的安全运维中心(SOC)中。 名词解释

实时消费常见问题 2025-04-22 10:49

本文列举了实时消费常见的咨询类问题。 为什么实时消费的速率未达到Shard的读写阈值上限?

通过HTTPS投递日志到SIEM 2025-04-22 10:49

本文通过以Splunk HEC为例来展示如何通过HEC将阿里云相关日志投递到SIEM。 例如当前SIEM(如Splunk)位于组织内部环境(on-premise),而不是云端。为了安全考虑,没有开放任何端口让外界环境来访问此SIEM。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号