赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据加工
  6. 数据加工(旧版)
  7. 最佳实践
  8. 数据流转
  9. 将不同Logstore的日志数据汇总到一个Logstore

将不同Logstore的日志数据汇总到一个Logstore

  • 数据流转
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

日志服务支持对每一个源Logstore配置一个数据加工任务,实现多源Logstore的数据汇总到同一个Logstore。本文介绍多源Logstore数据汇总的典型应用场景和操作步骤。

背景信息

某资讯网站业务分布全球,不同资讯频道的用户访问日志被采集存储在阿里云不同账号中的Logstore,如果需要将日志数据汇总到一个Logstore,便于后续的查询与分析,可以使用e_output函数进行数据加工。

本文以同一目标区域英国(伦敦)的不同Logstore的日志为例,介绍汇总Logstore数据的操作步骤:

  • 账号1中的原始日志,其Project地域位于英国(伦敦),Project名称为Project_1,Logstore名称为Logstore_1。

    "日志1"
    request_id: 1
    http_host:  example.com
    http_status:  200
    request_method:  GET
    request_uri:  /pic/icon.jpg
    
    "日志2"
    request_id: 2
    http_host:  aliyundoc.com
    http_status:  301
    request_method:  POST
    request_uri:  /data/data.php
  • 账号2中的日志,其Project地域为英国(伦敦),Project名称为Project_2,Logstore名称为Logstore_2。

    "日志1"
    request_id: 3
    host:  example.edu
    status:  404
    request_method:  GET
    request_uri:  /category/abc/product_id
    
    "日志2"
    request_id: 4
    host:  example.net
    status:  200
    request_method:  GET
    request_uri:  /data/index.html
  • 加工目标

    • 将账号1的Logstore_1中所有http_status为200的日志事件,输出到账号3的Logstore_3中。

    • 对于账号2的Logstore_2中所有http_status为200的日志事件,将字段名称host改为http_host、字段名称status改为http_status(与Logstore1统一),然后输出到账号3的Logstore_3中。

步骤一:配置Logstore1的数据加工规则

  1. 进入账号1的Logstore_1的数据加工页面,控制台操作步骤请参见创建数据加工任务。

  2. 在数据加工页面,配置如下加工规则,将账号1的Logstore_1中所有http_status为200的日志事件,输出到账号3的Logstore_3中。

    e_if(e_match("http_status", "200"), e_output("target_logstore"))
  3. 创建数据加工任务,在存储目标区域,配置目标名称、目标Region、目标Project、目标Logstore等参数如下,授权方式参数说明请参见创建数据加工任务。

    加工规则

步骤二:配置Logstore2的数据加工规则

  1. 进入账号2的Logstore_2的数据加工页面,控制台操作步骤请参见创建数据加工任务。

  2. 在数据加工页面,配置如下加工规则。对于Logstore_2中所有http_status为200的日志事件,将字段名称host改为http_host、字段名称status改为http_status(与Logstore1统一),然后输出到账号3的Logstore_3中。

    e_if(e_match("status", "200"), e_compose(e_rename("status", "http_status", "host", "http_host"), e_output("target_logstore")))

    预览结果

    image

  3. 创建数据加工任务,在存储目标区域,配置目标名称、目标Region、目标Project、目标Logstore等参数如下,授权方式参数说明请参见创建数据加工任务。

    image

查看汇总结果

在英国(伦敦)地域的Logstore_3中查询和分析日志,日志示例如下。

"日志1"
request_id: 1
http_host:  example.com
http_status:  200
request_method:  GET
request_uri:  /pic/icon.jpg

"日志2"
request_id: 4
http_host:  example.net
http_status:  200
request_method:  GET
request_uri:  /data/index.html
相关文章

复制Logstore数据 2025-04-22 10:53

如果您需要将Logstore中的日志数据保存多份,可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。 使用场景

跨地域传输数据 2025-04-22 10:53

日志服务支持通过数据加工实现跨地域传输数据,本文介绍跨地域传输数据的使用场景、操作步骤、计费等内容。 使用场景

多目标Logstore数据分发 2025-04-22 10:53

本文介绍多目标Logstore数据分发的各种场景(动态分发、跨账号分发、跨账号动态分发、复杂场景动态分发等)及操作步骤。 背景信息 日志服务数据加工功能支持将加工结果分发到多个目标Logstore中。您可以在保存数据加工结果时,设置不同账号的Ac

将不同Logstore的日志数据汇总到一个Logstore 2025-04-22 10:53

日志服务支持对每一个源Logstore配置一个数据加工任务,实现多源Logstore的数据汇总到同一个Logstore。本文介绍多源Logstore数据汇总的典型应用场景和操作步骤。 背景信息 某资讯网站业务分布全球,不同资讯频道的用户访问日志被

复制和分发数据 2025-04-22 10:53

日志服务支持对每一个源Logstore配置一个加工任务,实现数据复制后分发到不同Logstore。本文介绍数据复制后分发到不同Logstore的典型场景和操作方法。 场景说明 某数据

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号