赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据采集
  6. 数据采集常见问题
  7. 如何实现文件中的日志被采集多份

如何实现文件中的日志被采集多份

  • 数据采集常见问题
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

默认情况下,一个文件只能匹配一个Logtail采集配置。本文介绍如何实现文件日志被采集多份。

背景信息

当多个Logtail采集配置匹配同一个文件时,会导致多倍的CPU、内存、磁盘IO和网络IO资源占用,将影响同一台服务器部署的其他服务性能,因此默认情况下,一个文件只能匹配一个Logtail采集配置。

解决方案

将日志数据存储到不同Logstore

不需要配置多个Logtail采集配置,可以使用日志服务数据加工功能对日志进行复制,避免对同主机的其他服务性能造成影响。具体操作,请参见复制Logstore数据。

创建多个Logtail采集配置

主机场景

  • 创建目录软链接

    为文件所在的目录创建软链接。在一个Logtail配置中使用原路径,在另一个Logtail配置中使用软链接路径。例如执行如下命令,为文件所在目录/home/log/nginx/log创建软链接/home/log/nginx/link_log,通过软链接可以读取目录下的文件内容。

    ln -s /home/log/nginx/log /home/log/nginx/link_log
  • 添加强制采集配置

    在Logtail采集配置的输入配置中,打开允许文件多次采集开关。具体操作,请参见主机文本日志采集(自动安装)和主机文本日志采集(手动安装)。

    image

容器场景

采集容器日志的配置步骤,请参见采集阿里云ACK集群文本日志(DaemonSet方式部署Logtail)和采集自建K8s集群文本日志(DaemonSet方式部署Logtail)。

  • 控制台

    在Logtail采集配置的输入配置中,打开允许文件多次采集开关。

    image

  • CRD

    定义多个CRD。

相关文章

日志管理 2025-04-22 10:59

日志服务如何存储、管理用户的日志? 日志库(Logstore)是日志服务中的日志存储和查询的基本单元,通常用于存储一类日志数据。目前,支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后,用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里云ECS服务器的数据,日志

Logtail基本问题 2025-04-22 10:59

本文介绍Logtail的基本问题。 什么是Logtail? Logtail是日志服务提供的一种便于日志接入的日志采集客户端。在您

如何排查容器日志采集异常 2025-04-22 10:59

当您使用Logtail采集容器(标准容器、Kubernetes)日志时,如果采集状态异常,可以根据本文进行问题排查、运行状态检查等运维操作。

如何获取Docker容器的Label和环境变量 2025-04-22 10:59

当您使用Logtail采集容器日志时,可以通过Label和环境变量对待采集的容器进行过滤。Label指运行docker inspect命令时显示的容器元数据中的标签信息,环境变量是在容器启动时设置的运行时环境参数。本文介绍如何获取容器的Label和环境变量。

Logtail采集日志失败的排查思路 2025-04-22 10:59

使用Logtail采集日志后,如果预览页面为空或查询页面无数据,您可以根据本文步骤进行排查。 排查概览 日志文件未更新:配置Logtail采集后,如果待采集的日志文件无更新,则Logtai

日志服务采集数据常见的错误类型 2025-04-22 10:59

本文介绍日志服务采集数据常见的错误类型及对应的解决方法。 如果您遇到其他问题,请提交工单处理。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号