赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据采集
  6. Logtail采集
  7. Logtail最佳实践
  8. 采集配置生成器

采集配置生成器

  • Logtail最佳实践
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

若您计划通过CRD-AliyunPipelineConfig或API接口来配置Logtail采集任务,本文向您介绍如何利用采集配置生成器来自动构建所需的CRD定义和API参数脚本。该工具可帮您快速完成配置,减少手动操作。

操作步骤

  1. 登录日志服务控制台。

  2. 在Project列表区域,单击目标Project。

    image

  3. 在左侧导航栏中,单击image > 采集配置生成器。

    image

  4. 在采集配置生成器页面,顶部选择采集场景,左侧区域进行Logtail采集配置,配置完成后,右侧预览配置区域将生成Logtail CRD采集配置的YAML格式脚本以及API使用的JSON格式配置。

    • 采集场景:支持主机场景文本日志、Kubernetes - 文件以及标准输出-新/旧版。

    • Logtail采集配置:单击导入其他配置,支持在导入Logtail配置页面导入已有配置,或者根据采集场景创建新的采集配置。

    • 预览配置:

      • YAML:生成CRD-AliyunPipelineConfig方式创建Logtail采集配置的脚本。脚本无需修改,直接使用。

      • JSON:帮助写API CreateLogtailPipelineConfig - 创建Logtail流水线配置调用。JSON中的key-value对应API调用时的参数-参数值。

    image

  5. 若新建采集配置并使用Logtail SPL解析日志(如下图),需先添加日志样例。之后,在预览处理效果时,请确保已设置正确的Project名称和Logstore名称。

    image

  6. 复制已生成的YAML或者JSON,根据具体的场景创建采集配置。

场景

文本日志

主机场景下采集文本日志时,创建Logtail采集配置不支持使用CRD的方式。如下示例,向您介绍结合采集配置生成器,通过API调用,创建Logtail采集配置。

  1. 生成API创建Logtail采集配置时调用的参数配置:在采集配置生成器页面左侧区域完成采集配置或者导入其他配置。

    image

  2. API调用:右侧区域生成的JSON脚本,对应调用CreateLogtailPipelineConfig - 创建Logtail流水线配置时需要配置的参数(调试)。

Kubernetes - 文件

  1. 在采集配置生成器页面,单击Kubernetes - 文件。

    image

  2. 在采集配置生成器左侧区域选择导入其他配置或者参考如下文档完成采集配置。

    • 采集阿里云ACK集群文本日志(DaemonSet方式部署Logtail),请参见日志服务控制台。

    • 采集自建K8s集群文本日志(DaemonSet方式部署Logtail),请参见日志服务控制台。

  3. 创建Logtail采集配置。

    CRD-AliyunPipelineConfig方式

    采集配置生成器右侧区域生成的YAML脚本,用于您通过CRD-AliyunPipelineConfig方式创建采集配置。使用步骤,请根据具体场景,参见如下文档完成:

    • 采集阿里云ACK集群文本日志(DaemonSet方式部署Logtail),请参见CRD-AliyunPipelineConfig(推荐)。

    • 采集自建K8s集群文本日志(DaemonSet方式部署Logtail),请参见CRD-AliyunPipelineConfig(推荐)。

    API方式

    右侧区域生成的JSON脚本,对应调用CreateLogtailPipelineConfig - 创建Logtail流水线配置时需要配置的参数(调试)。

标准输出-新版/旧版

  1. 在采集配置生成器页面,单击标准输出 - 新版或者标准输出 - 旧版。

    image

  2. 在采集配置生成器左侧区域选择导入其他配置或者参考如下文档完成采集配置。

    • 采集阿里云ACK集群标准输出-旧版(DaemonSet方式部署Logtail),请参见日志服务控制台。

    • 采集自建K8s集群标准输出-旧版(DaemonSet方式部署Logtail),请参见日志服务控制台。

  3. 创建Logtail采集配置。

    CRD-AliyunPipelineConfig方式

    采集配置生成器右侧区域生成的YAML脚本,用于您通过CRD-AliyunPipelineConfig方式创建采集配置。使用步骤,请根据具体场景,参见如下文档完成:

    • 采集阿里云ACK集群标准输出-旧版(DaemonSet方式部署Logtail),请参见CRD-AliyunPipelineConfig(推荐)。

    • 采集自建K8s集群标准输出-旧版(DaemonSet方式部署Logtail),请参见

      CRD-AliyunPipelineConfig(推荐)。

    API方式

    右侧区域生成的JSON脚本,对应调用CreateLogtailPipelineConfig - 创建Logtail流水线配置时需要配置的参数(调试)。

相关文章

导入历史日志文件 2025-04-22 11:04

Logtail只采集增量日志。如果下发Logtail配置后,日志文件无更新,则Logtail不会采集该文件中的日志。如果您需要采集历史日志,可使用Logtail自带的导入历史日志文件功能。 前提条件

采集配置生成器 2025-04-22 11:04

若您计划通过CRD-AliyunPipelineConfig或API接口来配置Logtail采集任务,本文向您介绍如何利用采集配置生成器来自动构建所需的CRD定义和API参数脚本。该工具可帮您快速完成配置,减少手动操作。 操作步骤

使用CR实例管理采集配置 2025-04-22 11:04

CRD(CustomResourceDefinition)允许用户定义自定义资源类型,日志服务利用CRD定义了自己的资源类型,您可以通过创建CR(CustomResource)实例来管理采集配置。本文主要介绍日志服务的两类CRD(AliyunPipelineConfig和AliyunLogConfi

【推荐】使用AliyunPipelineConfig管理采集配置 2025-04-22 11:04

AliyunPipelineConfig是日志服务自定义的一类CRD,您可以通过配置YAML文件创建对应的CR,从而管理iLogtail采集配置。本文主要介绍通过AliyunPipelineConfig管理iLogtail采集配置的操作步骤。 前提条件

使用AliyunLogConfig管理采集配置 2025-04-22 11:04

AliyunLogConfig是日志服务自定义的一类CRD,您可以通过配置YAML文件创建对应的CR,从而管理iLogtail采集配置。本文主要介绍通过AliyunLogConfig管理iLogtail采集配置的操作步骤。 前提条件 已安

内置CRD模板工具 2025-04-22 11:04

内置CRD(custom resource definition)模板工具内置了一系列采集能力,通过此工具,可以快速集成标准化采集能力并通过CRD管理采集配置的生命周期,避免控制台配置繁琐步骤。 前提条件 采集Kubernetes集群内Logs、Metrics、Trace数据,需要先安装Logtai

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号