赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据加工
  6. 数据加工(旧版)
  7. 最佳实践
  8. 数据富化
  9. 构建字典与表格做数据富化

构建字典与表格做数据富化

  • 数据富化
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。

字典构建

  • 直接构建

    e_dict_map({"400": "error", "200": "ok", "*": "other"}, "status", "message")
  • 从任务配置资源构建

    e_dict_map(res_local("http_code_map"), "status", "message")

    其中http_code_map是任务高级配置项,值为:

    {"400": "error", "200": "ok", "*": "other"}
  • 从表格构建

    使用tab_to_dict从表格构建。而表格的构建参见本文后面的表格构建。

    e_dict_map(tab_to_dict(tab_parse_csv("status_code,status_info\n400,error\n200,ok\n*,other"), "status_code", "status_info"), "status", "message")
  • 从字典函数构建

    e_dict_map(dct_make("400", "error", "200",  "ok", "*",  "other"), "status", "message")
  • 从其他表达式构建

    e_dict_map(json_parse(v("http_code_map")), "status", "message")

    此处从源日志的http_code_map字段中获取映射关系。

不同字典构建方式对比。

构建方式

优点

缺点

直接构建

直观、简单、方便。

如果内容较多,规则会相对冗长。且静态不灵活。

从任务配置资源构建

内容较多且经常修改时推荐使用,易于维护。

不易于扩展和跨任务复用,不支持自动刷新。

从表格构建

高级场景下使用,维护机制更灵活。

需要构建和维护对应的表格,过程相对繁琐。

从字典函数构建

基于逻辑动态构建字典,特定场景下适用。

较为高级,不易于维护。

从其他表达式构建

从日志事件的字段中动态提取映射关系,特定场景下适用。

较为高级,不易于维护。

表格构建

  • 从文本构建

    e_table_map(tab_parse_csv("city,name,age\nshanghai,aliyun,10\ncity:nanjing,Maki,18"), "name",["city", "age"])
  • 从RDS资源中构建

    e_table_map(tab_parse_csv(res_rds_mysql(...database="db", table="city")), "name",["city", "age"])

    RDS表格city的内容为:

    content,name,age
    shanghai,aliyun,10
    nanjing,Maki,18
  • 从其他Logstore资源构建

    e_table_map(res_log_logstore_pull(..., project="project_name", logstore="logstore_name", fields=["city","name","age"]),, "name",["city", "age"])

    对应Logstore中日志事件为:

    "日志1"
    {
      "city": "shanghai",
      "name": "aliyun",
      "age": "10"
    }
    "日志2"
    {
      "city": "city:nanjing and data > 100",
      "name": "Maki",
      "age": "18"
    }

不同表格构建方式对比:

构建方式

优点

缺点

从文本构建

直观、简单、方便。

如果内容较多,规则会相对冗长。不易于维护、扩展和复用。

从RDS资源构建

  • 内容较多且经常修改时推荐使用,易于维护。

  • 支持自动刷新。

  • 支持跨任务复用。

需要连接外部RDS资源,配置过程相对比较繁琐。

从其他Logstore资源构建

支持实时读取,维护机制更灵活,高级场景下使用。

需要连接其他Logstore,配置过程相对比较繁琐。

相关文章

从其他Logstore获取数据进行数据富化 2025-04-22 10:53

本文档介绍如何通过资源函数从其他Logstore中获取数据对数据进行富化。 背景信息 某酒店将客人个人信息存储在名为user_logstore的Logstore中,将客人入住信息存储在名为check-in_logstore的Logstore中,现

从OSS获取IPIP库进行IP地址数据富化 2025-04-22 10:53

日志服务数据加工功能支持从OSS获取IPIP库数据,对日志中的IP地址进行富化,补充IP地址所属的国家、省、市等信息。 前提条件

从OSS获取IP2Location库进行IP地址数据富化 2025-04-22 10:53

日志服务数据加工功能支持从OSS获取IP2Location库数据,对日志中的IP地址进行富化,补充IP地址所属的国家、省、市等信息。 前提条件

从OSS获取CSV文件进行数据富化 2025-04-22 10:53

本文档介绍如何通过资源函数和映射富化函数从OSS中获取数据对日志数据进行富化。 前提条件

从RDS MySQL数据库获取数据进行数据富化 2025-04-22 10:53

日志服务数据加工功能支持从阿里云RDS MySQL数据库获取数据,结合数据加工规则,进行数据富化。 背景信息 在数据存储场景中,您可能经常遇到数据分散存储的问题,例如用户操作、行为等相关数据存储在日志

通过日志服务访问RDS MySQL进行数据富化 2025-04-22 10:53

当数据分别存储在日志服务的Logstore和RDS MySQL数据库中时,您可以使用日志服务的数据加工功能,通过RDS的内网地址访问RDS MySQL数据库以获取数据,进而实现数据富化。 工作原理 使用日志服务数据加工功能,通过RDS内网地址访问RDS MySQL获取数据进行数据富化的过程如图所示:

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号