赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据采集
  6. Logtail采集
  7. Logtail进阶配置详解
  8. 机器组

机器组

  • Logtail进阶配置详解
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

机器组是包含多台服务器的虚拟分组,日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器,支持将多台服务器上的日志采集到一个Logstore中。

前提条件

  • 已创建Project,具体请参见创建项目Project。

  • 服务器已安装Logtail,具体请参见安装、运行、升级、卸载Logtail。

机器组概述

image

日志服务Project支持将一个Logtail采集配置应用到多个机器组,或将一个机器组绑定到多个Logtail采集配置。如需采集多个服务器上的数据,您可根据服务器部署地域或类别将它们分成多个独立的机器组,并将Logtail采集配置应用到指定的机器组。日志服务便会将该配置下发至机器组内的所有的服务器,从而采集服务器上的数据。

创建机器组

步骤一:配置用户标识(可选)

说明

存在如下任一情况时,需要在服务器上配置用户标识,若ECS与日志服务同账号可跳过该步骤。用户标识的作用在于标识这台服务器有权限被该账号访问,并授权日志服务Project通过Logtail采集该服务器日志。

  • 服务器类型不是ECS。

  • 服务器类型是ECS,但是与日志服务不属于同一个账号。

  1. 使用阿里云账号(主账号)登录日志服务控制台。鼠标悬浮在右上角用户头像,然后在弹出的标签页中查看并复制账号ID。如果您使用RAM用户登录,请复制主账号ID。image

  2. 登录需要采集数据的服务器,通过以下方式配置用户标识,即配置阿里云账号ID文件。

    Linux系统

    • 在/etc/ilogtail/users目录下,创建日志服务所属的阿里云账号ID文件。

      touch /etc/ilogtail/users/{阿里云账号ID}
      重要
      • 如果/etc/ilogtail/users目录不存在,请手动创建目录。

      • 新增、删除用户标识后,1分钟之内即可生效。

    • 当您使用多个阿里云账号下的日志服务Project对同一台服务器进行日志采集时,您可以在同一台服务器上创建多个阿里云账号ID文件。例如:

      touch /etc/ilogtail/users/{阿里云账号ID 1}
      touch /etc/ilogtail/users/{阿里云账号ID 2}

    Windows系统

    • 在C:\LogtailData\users目录下,创建日志服务所属的阿里云账号ID文件。

      • 使用Windows PowerShell。

        ni C:\LogtailData\users\{阿里云账号ID}
      • 使用命令提示符(cmd)。

        type nul > C:\LogtailData\users\{阿里云账号ID}
    • 当您使用多个阿里云账号下的日志服务Project对同一台服务器进行日志采集时,您可以在同一台服务器上创建多个阿里云账号ID文件。

    容器环境

    如果Logtail部署在阿里云Kubernetes集群中,且为Logtail-ds 1.7.3及以上版本,则您可以通过容器服务管理控制台设置用户自定义标识,即在组件管理页面,修改logtail-ds组件中的LogtailDSExternalUserDefinelDs参数。具体操作,请参见管理组件。

    说明
    • 用户标识配置只需配置文件名,无需配置文件后缀。

    • 一台服务器上可配置多个用户标识,Logtail容器中仅支持配置一个用户标识。

    • 若您不再使用某个用户标识,直接删除服务器上阿里云账号ID文件即可。

步骤二:创建机器组

说明

日志服务Project支持使用IP地址或用户自定义标识创建机器组。使用IP地址创建相对更简单,但使用用户自定义标识具有以下优势,推荐使用。

  • 在VPC等自定义网络环境中,可能出现服务器IP地址冲突问题,导致Logtail采集失败。使用用户自定义标识可避免此类情况发生。

  • 使用用户自定义标识可实现机器组的弹性伸缩。为新增的服务器配置相同的用户自定义标识,日志服务可自动识别,并将其添加至机器组中。如果不再需要采集服务器日志,直接删除在服务器上配置的用户自定义标识文件,日志服务可自动将该服务器从机器组中移除。

创建用户自定义标识机器组

通常情况下,业务系统由多个模块组成,每个模块都可以进行独立的水平扩展,即支持添加多台服务器。为了实现高效的日志数据收集和分类,建议为每个模块创建单独的机器组。用户需要在各个模块的服务器上配置自定义标识,以确保每个服务器能归属于正确的机器组。

例如常见网站分为前端HTTP请求处理模块、缓存模块、逻辑处理模块和存储模块,其自定义标识可以分别定义为http_module、cache_module、logic_module和store_module。

重要
  • 同一机器组中不允许同时存在Linux和Windows服务器,请勿在Linux和Windows服务器上配置相同的用户自定义标识。

  • 一个服务器可配置多个用户自定义标识,标识之间以换行符分割。

  1. 配置用户自定义标识。

    Linux环境
    1. 登录已安装Logtail的Linux服务器,使用以下命令配置用户自定义标识。

      说明

      如果目录/etc/ilogtail/不存在,请先手动创建该目录。

      echo "user-defined-1" > /etc/ilogtail/user_defined_id
    2. (可选)使用以下命令检查用户自定义标识是否写入成功。如果返回user-defined-1,则表示写入成功。

      cat /etc/ilogtail/user_defined_id
    3. 新增、删除、修改user_defined_id文件后,默认情况下,1分钟内生效。如果需要立即生效,请执行以下命令重启Logtail。

      /etc/init.d/ilogtaild stop
      /etc/init.d/ilogtaild start
    Windows环境
    1. 登录已安装Logtail的Windows服务器,在C:\LogtailData目录下新建user_defined_id文件并写入user-defined-1,完成后保存。

      说明

      如果目录C:\LogtailData不存在,请先手动创建该目录。

    2. 新增、删除、修改user_defined_id文件后,默认情况下,1分钟内生效。如需立即生效,请根据以下步骤重启Logtail。

      1. 选择开始 > 控制面板 > 管理工具 > 服务。

      2. 在服务对话框中,选择对应的服务。

      3. 如果是0.x.x.x版本,选择LogtailWorker服务。

      4. 如果是1.0.0.0及以上版本,选择LogtailDaemon服务。

      5. 右键单击重新启动使配置生效。

    容器环境

    用户自定义标识配置在Logtail容器的环境变量ALIYUN_LOGTAIL_USER_DEFINED_ID中,可通过docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_DEFINED_ID命令查看。

  2. 登录日志服务控制台,在Project列表,单击打开目标Project。在左侧导航栏中,选择资源 > 机器组。在打开的机器组页面中,选择机器组右侧的机器组 > 创建机器组。image

  3. 在弹出的创建机器组页面,填写以下信息,并单击确定。

    参数

    说明

    名称

    机器组名称,命名规则如下所示:

    • 只能包括小写字母、数字、短划线(-)和下划线(_)。

    • 必须以小写字母或者数字开头和结尾。

    • 长度必须在 2~128 字符之间。

    重要

    创建后,不支持修改机器组名称,请谨慎填写。

    机器组标识

    选择用户自定义标识。

    机器组Topic

    (可选)机器组Topic用于区分不同服务器产生的日志数据。更多信息,请参见日志主题。

    用户自定义标识

    填入配置步骤中已配置的用户自定义标识,例如user-defined-1。

创建IP地址机器组

  1. 登录日志服务控制台,在Project列表,单击打开目标Project。

  2. 左侧导航栏中,选择资源 > 机器组。在打开的机器组页面中,选择机器组右侧的机器组 > 创建机器组。image

  3. 在弹出的创建机器组页面,填写以下信息,并单击确定。

    参数

    说明

    名称

    机器组名称,命名规则如下所示:

    • 只能包括小写字母、数字、短划线(-)和下划线(_)。

    • 必须以小写字母或者数字开头和结尾。

    • 长度必须在 2~128 字符之间。

    重要

    创建后,不支持修改机器组名称,请谨慎填写。

    机器组标识

    选择IP地址。

    机器组Topic

    (可选)机器组Topic用于区分不同服务器产生的日志数据。更多信息,请参见日志主题。

    IP地址

    填入Logtail自动获取的服务器IP:

    在已安装Logtail的服务器,打开app_info.json文件,并查看ip字段的值。

    • app_info.json文件路径说明如下所示。

    • Logtail自动获取的服务器IP地址记录在app_info.json文件的ip字段中,如下所示。IP地址

    重要
    • 存在多台服务器时,请手动输入对应的IP地址,IP地址之间需使用换行符分隔。

    • 同一机器组中不允许同时存在Linux和Windows服务器。请勿将Windows和Linux服务器IP添加到同一机器组中。

查看机器组配置

在机器组列表中,单击目标机器组进入机器组配置页面。您可在此查看机器组信息、机器组状态和管理配置。

  • 如果心跳状态显示OK,则表示服务器上的Logtail实例与日志服务Project连接正常。

  • 如果心跳状态显示FAIL,可能是配置未生效导致(配置生效时间大约需要2分钟)。如果2分钟后依然显示FAIL,则可能是其他配置问题,您可参见Logtail机器组问题排查思路(主机场景)处理。

image

应用Logtail采集配置到机器组

  1. 在机器组列表中,单击目标机器组进入机器组配置页面。然后单击该页面右上角的修改。

  2. 在管理配置区域,选择左侧的Logtail采集配置,然后单击>,将其移动到右侧已生效Logtail配置区域。

    重要
    • 添加Logtail配置到机器组后,该Logtail配置会被下发到机器组内的服务器的Logtail上。

    • 从机器组移除Logtail配置后,该Logtail配置会从机器组内的服务器的Logtail上移除。

    image

  3. 修改完成后,单击保存。

修改机器组信息

  1. 在机器组列表中,单击目标机器组进入机器组配置页面。然后单击该页面右上角的修改。

  2. 日志服务支持修改以下机器组信息:

    • 更改机器组标识:用于切换机器组类型。

    • 更新机器组Topic:机器组Topic作用请参见日志主题。

    • 更新用户自定义标识或IP地址:需要与机器组类型匹配。

    image

  3. 修改完成后,单击保存。

删除机器组

  1. 在机器组列表中,选择目标机器组对应的机器组管理图标 > 删除。

  2. 在弹出的对话框中,输入机器组名称,并单击确认。

相关文档

  • 在日志服务Project中创建Logtail配置。更多信息,请参见主机文本日志采集(手动安装)。

  • 管理机器组的API请参见:

    • CreateMachineGroup - 创建机器组

    • DeleteMachineGroup - 删除机器组

    • RemoveConfigFromMachineGroup - 删除机器组Logtail配置

    • ApplyConfigToMachineGroup - 应用Logtail配置到机器组

    • UpdateMachineGroup - 修改机器组

    • UpdateMachineGroupMachine - 修改机器组机器列表

    • ListMachineGroup - 查询Project下的机器组

    • ListMachines - 查询机器组中的机器列表

    • GetMachineGroup - 获取机器组配置

    • GetAppliedConfigs - 获取已应用的Logtail配置列表

    • GetAppliedMachineGroups - 通过Logtail配置获取已绑定的机器组

相关文章

安装、运行、升级、卸载Logtail 2025-04-22 11:05

如果您要使用日志服务Project采集服务器日志,首先需要在目标服务器上安装Logtail客户端。本文介绍如何在目标服务器中安装、运行,升级和卸载Logtail。

Logtail网络类型,启动参数与配置文件 2025-04-22 11:05

本文介绍使用Logtail采集日志时,如何选择网络来保障采集速度,如何配置启动参数来调整采集性能,以及Logtail运行中依赖的一系列配置文件与信息记录文件。 网络类型与选择

使用内置的Logtail告警监控规则 2025-04-22 11:05

如果需要实时监控Logtail,可以使用日志服务的内置告警监控规则,并可通过钉钉等渠道接收到告警通知。本文介绍使用Logtail内置告警监控规则的操作步骤。 前提条件 已为目标Project开启重要日志功能。具体操作,请参见开通服务日志

Logtail诊断 2025-04-22 11:05

您在使用Logtail采集日志时,可能遇到正则解析失败、文件路径不正确、流量超过Shard服务能力等问题。日志服务提供诊断功能,可帮助您快速定位Logtail采集错误信息。 前提条件

机器组 2025-04-22 11:05

机器组是包含多台服务器的虚拟分组,日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器,支持将多台服务器上的日志采集到一个Logstore中。 前提条件 已创建Project,具体请参见创建项目Proj

管理Logtail采集配置 2025-04-22 11:05

本文介绍如何在日志服务控制台上创建、查看、修改及删除Logtail采集配置等操作。除了支持控制台操作外,日志服务还支持API与SDK的方式。 Logtail采集配置概述 采集配置项是定义如何采集、处理日志数据的核心规则。其目的是通过灵活配置,实现日志的高效采集、结构化解析、过滤加工等效果。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号