赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据采集
  6. 最佳实践
  7. Logtail采集
  8. 通过Logtail跨地域采集日志

通过Logtail跨地域采集日志

  • Logtail采集
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

本文以Linux系统为例介绍同阿里云账号跨地域采集日志的操作步骤。

方案概览

假如某公司的网站应用部署在地域A,日志服务Project部署在地域B,现计划通过Logtail采集配置将部署在地域A的ECS实例中的日志数据发送到地域B的日志服务Project中。您可通过以下步骤配置:

  • 步骤一:在地域A的ECS实例中安装Logtail

  • 步骤二:在地域A的ECS实例中配置用户自定义标识

  • 步骤三:在地域B的日志服务Project中创建用户自定义标识机器组

  • 步骤四:在地域B的日志服务Project中创建Logtail采集配置

配置流程图如下所示:

image

前提条件

已创建Project和Logstore。更多信息,请参见创建项目Project和创建Logstore。

步骤一:在地域A的ECS实例中安装Logtail

网络传输说明

传输方式

适用场景

公网

  • 阿里云云服务器实例和日志服务Project属于不同地域。

  • 服务器为其他云厂商服务器或自建IDC。

传输加速

服务器分布在海外各地的自建机房或者来自海外云厂商,使用公网传输数据可能会出现网络延迟高、传输不稳定等问题,推荐选择传输加速。更多信息,参见管理传输加速。

登录地域A的ECS实例,请参考网络传输说明根据您的网络环境选择安装Logtail脚本。安装Logtail支持的Liunx系统,请参见使用限制。

公网

根据日志服务Project所在地域,获取对应的${region_id}。替换${region_id}后,执行安装命令。

重要

各地域对应的${region_id}请参见开服地域,例如华东 1(杭州)对应的${region_id}为cn-hangzhou。

wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh; chmod +x logtail.sh; ./logtail.sh install ${region_id}-internet

传输加速

根据日志服务Project所在地域,获取对应的${region_id}。替换${region_id}后,执行安装命令。

重要

各地域对应的${region_id}请参见开服地域,例如华东 1(杭州)对应的${region_id}为cn-hangzhou。

wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh; chmod +x logtail.sh; ./logtail.sh install ${region_id}-acceleration

步骤二:在地域A的ECS实例中配置用户自定义标识

  1. 在指定目录下创建用户自定义标识文件user_defined_id并配置用户自定义标识。

    重要
    • 同一机器组中不允许同时存在Linux和Windows服务器,请勿在Linux和Windows服务器上配置相同的用户自定义标识。

    • 一个服务器可配置多个用户自定义标识,标识之间以换行符分割。

    • 用户自定义标识文件存放路径:

      • Linux:/etc/ilogtail/user_defined_id。

      • Windows:C:\LogtailData\user_defined_id。

    • 如果目录/etc/ilogtail/、C:\LogtailData或文件/etc/ilogtail/user_defined_id、C:\LogtailData\user_defined_id不存在,请手动创建。

    Linux环境

    1. 在Linux服务器配置用户自定义标识,可使用以下命令完成。

      echo "user-defined-linux-1" > /etc/ilogtail/user_defined_id
    2. 检查用户自定义标识是否写入成功,可使用以下命令。

      cat /etc/ilogtail/user_defined_id
    3. 新增、删除、修改user_defined_id文件后,默认情况下,1分钟内生效。如果需要立即生效,请执行以下命令重启Logtail。

      /etc/init.d/ilogtaild stop
      /etc/init.d/ilogtaild start

    Windows环境

    1. 在Windows服务配置用户自定义标识,可在C:\LogtailData\user_defined_id文件中输入user-defined-windows-1,并保存。

    2. 检查用户自定义标识是否写入成功,可打开C:\LogtailData\user_defined_id文件直接查看。

    3. 新增、删除、修改user_defined_id文件后,默认情况下,1分钟内生效。如需立即生效,请根据以下步骤重启Logtail。

      1. 选择开始 > 控制面板 > 管理工具 > 服务。

      2. 在服务对话框中,选择对应的服务。

      3. 如果是0.x.x.x版本,选择LogtailWorker服务。

      4. 如果是1.0.0.0及以上版本,选择LogtailDaemon服务。

      5. 右键单击重新启动使配置生效。

    容器环境

    用户自定义标识配置在Logtail容器的环境变量ALIYUN_LOGTAIL_USER_DEFINED_ID中,可通过docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_DEFINED_ID命令查看。

步骤三:在地域B的日志服务Project中创建用户自定义标识机器组

  1. 登录日志服务控制台,在Project列表,单击打开目标Project。

  2. 左侧导航栏中,选择资源 > 机器组。在打开的机器组页面中,选择机器组右侧的机器组 > 创建机器组。image

  3. 在弹出的创建机器组页面,填写以下信息,并单击确定。

    参数

    说明

    名称

    机器组名称,命名规则如下所示:

    • 只能包括小写字母、数字、短划线(-)和下划线(_)。

    • 必须以小写字母或者数字开头和结尾。

    • 长度必须在 2~128 字符之间。

    重要

    创建后,不支持修改机器组名称,请谨慎填写。

    机器组标识

    选择IP地址。

    机器组Topic

    (可选)机器组Topic用于区分不同服务器产生的日志数据。更多信息,请参见日志主题。

    IP地址

    填入上述步骤中获取的服务器IP地址。

    重要
    • 存在多台服务器时,请手动输入对应的IP地址,IP地址之间需使用换行符分隔。

    • 同一机器组中不允许同时存在Linux和Windows服务器。请勿将Windows和Linux服务器IP添加到同一机器组中。

  4. 在机器组列表中,单击目标机器组。在机器组配置页面,检查机器组配置信息以及服务器状态。

    • 心跳状态为OK表示服务器上的Logtail实例与日志服务Project连接正常。

    • 如果心跳状态显示FAIL,处理操作请参见Logtail机器组问题排查思路(主机场景)。

      重要

      创建机器组大约需要2分钟。创建未生效,将导致心跳为FAIL。请2分钟后单击刷新进行重试。

步骤四:在地域B的日志服务Project中创建Logtail采集配置

重要
  • 安装Logtail的主机需要在出口方向开放80(HTTP)端口和443(HTTPS)端口。ECS实例的端口由安全组规则控制,添加安全组规则的步骤请参见添加安全组规则。

  • 服务器日志的内容持续新增。Logtail只采集增量日志,如果下发Logtail配置后日志文件无更新,则Logtail不会采集该文件中的日志。更多信息,请参见读取日志。

  • 如需采集历史数据,请参见导入历史日志文件。

对于常见类型的日志采集,请参见最佳实践:

  • 采集JSON格式文本日志

  • 使用正则模式采集文本日志

  • 使用极简单行模式采集文本日志

  • 使用多行模式采集文本日志

相关文档

  • 使用Logtail采集日志后,如果预览页面为空或查询页面无数据,请按照Logtail采集日志失败的排查思路进行排查。在使用Logtail采集日志时,可能遇到正则解析失败、文件路径不正确、流量超过Shard服务能力等错误。查看Logtail采集错误的步骤,请参见如何查看Logtail采集错误信息。采集数据常见的错误类型请参见日志服务采集数据常见的错误类型。

  • 默认情况下,一个日志文件只能匹配一个Logtail配置。如果同一份日志需要被采集多份,请参见如何实现文件中的日志被采集多份。

  • 将企业内网服务器日志采集到日志服务,请参见采集企业内网服务器日志。

相关文章

使用OOS批量安装或升级Logtail 2025-04-22 11:00

本文介绍如何通过阿里云运维编排服务批量安装或升级Logtail。 使用场景 运维编排服务(Operation Orchestration Service,简称OOS)是阿里云提供的自动化运维平台。您可以使用自定义模板或阿里云提供的公共模板,对ECS、RDS、SLB、VPC等资源进行自动化运维。更多信

通过Logtail跨地域采集日志 2025-04-22 11:00

本文以Linux系统为例介绍同阿里云账号跨地域采集日志的操作步骤。 方案概览 假如某公司的网站应用部署在地域A,

通过Logtail跨阿里云账号采集日志 2025-04-22 11:00

本文介绍跨阿里云账号采集服务器日志的操作步骤。 背景信息 您要通过Logtail采集服务器日志时,在服务器上安装Logtail后,还需配置日志服务所在阿里云账号ID为用户标识,表示该账号有权限通过Logtail采集该服务器日志。否则在机器组中会显示服

通过Logtail跨阿里云账号采集容器日志 2025-04-22 11:00

本文介绍跨阿里云账号采集阿里云Kubernetes中的容器日志的操作步骤。 背景信息 例如某电商公司拥有两个电商应用,部署在阿里云杭州地域的Kubernet

通过Logtail采集Zabbix数据 2025-04-22 11:00

Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控。日志服务支持将Zabbix中的监控数据采集到Logstore中。本文介绍将Zabbix数据采集到日志服务的操作步骤。 前提条件

采集JSON格式文本日志 2025-04-22 11:00

日志服务提供JSON模式快速采集JSON日志。采集到日志后,您可以进行多维度分析、加工、投递等操作。本文介绍如何通过日志服务控制台创建JSON模式的Logtail配置采集日志。 方案概览 假设您的JSON原始日志为:

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号