赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据采集
  6. LoongCollector采集

LoongCollector采集

  • 数据采集
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

LoongCollector 是日志服务推出的一款集性能、稳定性和可编程性于一身的新一代数据采集器,专为构建下一代可观测 Pipeline 设计。LoongCollector扩展融合了可观测性技术栈,改变传统日志采集器的单一场景限制,支持Logs、Metrics、Traces、Events、Profiles 的采集、处理、路由、发送等功能。

支持地域

地域名称

Region ID

华南2(河源)

cn-heyuan

华南3(广州)

cn-guangzhou

新加坡

ap-southeast-1

马来西亚(吉隆坡)

ap-southeast-3

印度尼西亚(雅加达)

ap-southeast-5

菲律宾(马尼拉)

ap-southeast-6

泰国(曼谷)

ap-southeast-7

日本(东京)

ap-northeast-1

韩国(首尔)

ap-northeast-2

美国(硅谷)

us-west-1

美国(弗吉尼亚)

us-east-1

德国(法兰克福)

eu-central-1

英国(伦敦)

eu-west-1

阿联酋(迪拜)

me-east-1

其他地域需安装Logtail进行采集,详情请参见主机文本日志采集(手动安装)。

LoongCollector采集场景

LoongCollector采集根据不同的采集数据源,主要分为以下使用方式:

  • 主机场景

    如果您希望采集在ECS或者自有主机上的日志内容,根据ECS或自有主机情况,仅当ECS与日志服务的Project属于同一个账号且在同一地域时,日志服务才支持主机文本日志采集(自动安装)。否则请参考主机文本日志采集(手动安装)。

  • Kubernetes

    如果您希望采集K8s集群上的文本日志内容,根据集群是自建K8s或ACK集群分别参考采集自建K8s集群文本日志(DaemonSet方式部署LoongCollector)或采集ACK集群文本日志(DaemonSet方式部署LoongCollector)。

核心优势

端上采集融合

image

LoongCollector支持所有的采集工作只用一个Agent实现,包括Logs、Metrics、Traces、Events、Profiles 的采集、处理、路由、发送等功能。且对于K8s,LoongCollector 基于标准 CRI API 与 Pod 的底层定义进行交互,让您无需变更容器配置,即可自动为采集的可观测性数据附加 K8s 元数据标签(如 Namespace、Pod、Container、Labels 等),实现数据与基础设施的精准关联。

灵活的可编程管道

LoongCollector 通过 SPL 与多语言 Plugin 引擎加持,构建完善的可编程体系。不同引擎可以相互打通,通过灵活的组合实现预期的计算能力。

image

您可根据自身需求灵活选择引擎。如果看重执行效率,可以优先选择原生插件,辅以扩展插件;如果看重算子覆盖全面性,需要处理复杂数据,可以选择 SPL 引擎。

可编程引擎

分类

特点

多语言 Plugin 引擎

原生插件

C++实现,性能高,资源开销低,较完善的算子能力。

扩展插件

Golang实现,较高的性能,资源开销低,较完善的算子能力。

SPL 引擎

SPL引擎

C++实现,列式模型,向量化执行,性能高,资源开销低,全面的算子能力,100+算子,管道式设计,灵活组合,可以处理复杂数据。

高性能与高可靠

LoongCollector的底层设计支持高性能与高可靠,为大规模分布式系统提供稳固、高效的可观测性数据统一采集。

  • 高性能:核心流程无锁设计、事件驱动机制、核心场景单线程百M/s吞吐量。

  • 高可靠:基于时间片公平调度、队列高低水位反压控制、实现Pipeline之间多租户隔离、数据流免拷贝机制保障内存资源。

  • 大规模生产级标准:商业版千万级部署规模,广泛应用于阿里集团、蚂蚁集团及公有云客户,经受各类线上大促销、极端场景考验。

相关文章

数据采集概述 2025-04-22 11:05

日志服务的数据采集支持多种采集方式与数据来源。本文将为您介绍不同场景下的采集方式。 数据采集方式 数据采集作为使用日志服务功能的第一步,帮助您将需要处理的日志或数据传输并保存到日志服务中。您需要根据具体的使用场景选择合适的数据采集方式,以便后续使用日志服务的其他功能。 数据采集方式主

Logtail采集 2025-04-22 11:05

本文为您介绍Logtail不同采集数据源下的使用场景。 Logtail采集概述 Logtail采集根据不同的采集数据源,主要分为以下使用方式: 采集文本日志/标准输出日志 主机场景 如果您希望采集在ECS或者自有主

LoongCollector采集 2025-04-22 11:05

LoongCollector 是日志服务推出的一款集性能、稳定性和可编程性于一身的新一代数据采集器,专为构建下一代可观测 Pipeline 设计。LoongCollector扩展融合了可观测性技术栈,改变传统日志采集器的单一场景限制,支持Logs、Metrics、Traces、Events、Prof

云产品日志采集 2025-04-22 11:05

日志服务支持采集弹性计算、存储服务、安全、数据库等多种阿里云云产品的日志数据,包括云产品的操作信息、运行状况、业务动态等信息。 说明 日志服务支持通过日志审计服务自动跨账

什么是Logtail 2025-04-22 11:05

Logtail是日志服务提供的日志采集Agent,用于采集阿里云ECS、自建IDC或其他云厂商等服务器上的日志。本文介绍Logtail的采集流程、功能、优势、使用限制及配置流程等信息。 Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万服务器上的实时数据,日流量数十PB,并

Logtail安装采集快速入门 2025-04-22 11:05

Logtail根据采集场景不同操作流程也有差异,本文将介绍在主机场景,K8s集群场景,容器场景下如何使用Logtail采集日志。 主机场景Logtail安装采集指引 采集主机文本日志时,根据主机所属情况,日志服务支持通过一键自动安装Logtail方式和手动安装Logtail方式进行采集。 一键自动安

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号