• 消费-搭建监控系统 2025-04-22 10:49

    日志服务是阿里云一个重要的基础设施,支撑着阿里云所有集群日志数据的收集和分发。众多应用比如OTS、ODPS、CNZZ等利用日志服务logtail收集日志数据,利用API消费数据,导入下游实时统计系统或者离线系统做分析统计。作为一个基础设施,日志服务具备:

  • 消费-按量计费日志 2025-04-22 10:49

    使用云服务最大好处是按量付费,无需预留资源,因此各云产品都有计量计费需求。本文介绍一种基于日志服务按量计费方案,该方案每天处理千亿级计量日志,被众多云产品使用。 按量计费日志 使用场景

  • 消费-通过消费组实现高可靠消费 2025-04-22 10:49

    日志处理是一个很大范畴,其中包括实时计算、数据仓库、离线计算等众多点。这篇文章主要介绍在实时计算场景中,如何能做到日志处理保序、不丢失、不重复,并且在上下游业务系统不可靠(存在故障)、业务流量剧烈波动情况下,如何保持这三点。 为方便理解,本文使用《银行的一天》作为例子将概念解释清楚。在文档末尾,介绍

  • Flink SQL基于SPL实现行过滤与列裁剪 2025-04-22 10:49

    本文介绍Flink SQL用SPL完成行过滤与列裁剪的操作步骤。 背景 在阿里云Flink配置SLS作为源表时,默认会消费SLS的Logstore数据进行动态表的构建,在消费的过程中,可以指定起始时间点,其消费的数据是指

  • Flink SQL基于SPL实现弱结构化分析 2025-04-22 10:49

    本文介绍Flink SQL基于SPL实现弱结构化分析的操作步骤。 背景 日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。基于日志服务的便捷的数据接入能力

  • 使用消费组基于SPL消费日志 2025-04-22 10:49

    通过消费组(ConsumerGroup)消费数据无需关注日志服务的实现细节及消费者之间的负载均衡、故障转移(Failover)等,只需要专注于业务逻辑。本文介绍通过Java消费组、Go消费组和Python消费组的方式,设置SPL语句来消费Logstore中的数据。 前提条件