赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 消费与投递
  6. 实时消费
  7. 最佳实践
  8. 消费-搭建监控系统

消费-搭建监控系统

  • 最佳实践
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

日志服务是阿里云一个重要的基础设施,支撑着阿里云所有集群日志数据的收集和分发。众多应用比如OTS、ODPS、CNZZ等利用日志服务logtail收集日志数据,利用API消费数据,导入下游实时统计系统或者离线系统做分析统计。作为一个基础设施,日志服务具备:

  • 可靠性:经过多年阿里集团内部用户的检验,经历多年双十一考验,保证数据的可靠、不丢失。

  • 可扩展性:数据流量上升,通过增加shard个数快速动态扩容处理能力。

  • 便捷性:一键式管理包括上万台机器的日志收集。

日志服务帮用户完成了日志收集,统一了日志格式,提供API用于下游消费。下游系统可以接入多重系统重复消费,比如导入Spark、Storm做实时计算,也可以导入elasticsearch做搜索,真正做到了一次收集,多次消费。在众多数据消费场景中,监控是最常见的一种场景。本文介绍阿里云基于日志服务的监控系统。

日志服务把所有集群的监控数据作为日志收集到服务端,解决了多集群管理和异构系统日志收集的问题,监控数据统一成格式化的日志发送到日志服务。

日志服务为监控系统提供了:

  • 统一的机器管理:安装一次logtail,所有的后续操作在日志服务端进行。

  • 统一的配置管理:需要收集哪些日志文件,只要在服务端配置一次,配置会自动下发到所有机器。

  • 结构化的数据:所有数据格式化成日志服务的数据模型,方便下游消费。

  • 弹性的服务能力:处理大规模数据写入和读取的能力。

图 1. 监控系统架构

image

如何搭建监控系统

  1. 收集监控数据

    配置SLS的日志收集,确保日志收集到了日志服务。

  2. 中间件使用API消费数据

    通过SDK的PullLog接口从日志服务批量消费日志数据,并且把数据同步到下游实时计算系统。

  3. 搭建storm实时计算系统

    选择storm或者其他的类型的实时计算系统,配置计算规则,选择要计算的监控指标,计算结果写入到OTS中。

  4. 展示监控信息

    通过读取保存在OTS中的监控数据,在前端展示;或者读取数据,根据数据结果做报警。

相关文章

消费-搭建监控系统 2025-04-22 10:49

日志服务是阿里云一个重要的基础设施,支撑着阿里云所有集群日志数据的收集和分发。众多应用比如OTS、ODPS、CNZZ等利用日志服务logtail收集日志数据,利用API消费数据,导入下游实时统计系统或者离线系统做分析统计。作为一个基础设施,日志服务具备:

消费-按量计费日志 2025-04-22 10:49

使用云服务最大好处是按量付费,无需预留资源,因此各云产品都有计量计费需求。本文介绍一种基于日志服务按量计费方案,该方案每天处理千亿级计量日志,被众多云产品使用。 按量计费日志 使用场景

消费-通过消费组实现高可靠消费 2025-04-22 10:49

日志处理是一个很大范畴,其中包括实时计算、数据仓库、离线计算等众多点。这篇文章主要介绍在实时计算场景中,如何能做到日志处理保序、不丢失、不重复,并且在上下游业务系统不可靠(存在故障)、业务流量剧烈波动情况下,如何保持这三点。 为方便理解,本文使用《银行的一天》作为例子将概念解释清楚。在文档末尾,介绍

Flink SQL基于SPL实现行过滤与列裁剪 2025-04-22 10:49

本文介绍Flink SQL用SPL完成行过滤与列裁剪的操作步骤。 背景 在阿里云Flink配置SLS作为源表时,默认会消费SLS的Logstore数据进行动态表的构建,在消费的过程中,可以指定起始时间点,其消费的数据是指

Flink SQL基于SPL实现弱结构化分析 2025-04-22 10:49

本文介绍Flink SQL基于SPL实现弱结构化分析的操作步骤。 背景 日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。基于日志服务的便捷的数据接入能力

使用SDK基于SPL消费日志 2025-04-22 10:49

本文向您介绍使用SDK基于SPL消费日志的示例。 前提条件 已创建RAM用户并完成授权。具体操作,请参见创建RAM用户及授权。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号