赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据加工
  6. 数据加工(旧版)
  7. 最佳实践
  8. 文本解析
  9. MetricStore指标字段追加内容并且排序

MetricStore指标字段追加内容并且排序

  • 文本解析
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

本文介绍如何使用数据加工对时序库(MetricStore)中的某个指标字段进行更新并排序。

升序排列

原始日志中指标字段__labels__已经是按照升序排列的,期望在__labels__后面追加一个指标app#$#--cd-app,并确保整体仍保持升序。

  • 原始日志

    {
      "__labels__": "hostname#$#prod-数据中心-集群-uewsd|instanceId#$#i-wet892djhhkbskd|ipgroup#$#10.10.0.0|regionId#$#cn-hangzhou|rmgroup_id#$#rg-acfm90ewnkw921|rmgroup_name#$#默认资源组|tag_env#$#prod|tag_f#$#user|tag_f_1#$#小明|tag_f_2#$#小亮|userId#$#18090223281935",
      "__name__": "AliyunEcs_usertestname",
      "__source__": "10.XX.XX.0",
      "__time__": 1717400670,
      "__time_nano__": "1717400670",
      "__topic__": "",
      "__value__": "49.5"
    }  
  • 加工规则

    str_split将__labels__字段值解析成数组,lst_append追加数据,lst_sort对数组进行排序,str_join将排序后的数组用 | 连接成一个字符串。

    e_set("__labels__", str_split(v("__labels__"), sep="|"))
    e_set(
        "__labels__",
        str_join("|", lst_sort(lst_append(v("__labels__"), "app#$#--cd-app"))),
    )
  • 加工结果

    {
      "__labels__": "app#$#--cd-app|hostname#$#prod-数据中心-集群-uewsd|instanceId#$#i-wet892djhhkbskd|ipgroup#$#10.10.0.0|regionId#$#cn-hangzhou|rmgroup_id#$#rg-acfm90ewnkw921|rmgroup_name#$#默认资源组|tag_env#$#prod|tag_f#$#user|tag_f_1#$#小明|tag_f_2#$#小亮|userId#$#18090223281935",
      "__name__": "AliyunEcs_usertestname",
      "__source__": "10.XX.XX.0",
      "__time__": 1717400670,
      "__time_nano__": "1717400670",
      "__topic__": "",
      "__value__": "49.5"
    }  

降序排列

原始日志中指标字段__labels__已经是按照降序排列的,期望在__labels__后面追加一个指标group#$#group1,并确保整体仍保持降序。

  • 原始日志

    {
      "script_md5":"8c6aebe9****c27f",
      "remote_addr":"123.XX.XX.123",
      "remote_user":"-",
      "time_local":"15/Aug/2023:12:03:20",
      "method":"GET",
      "url":"/www.a.com",
      "protocol":"HTTP/1.1",
      "status":"404",
      "body_bytes_sent":"4146",
      "http_referer":"-",
      "http_user_agent":"curl/7.74.0",
      "http_x_forwarded_for":"-",
      "__labels__":"tag2#$#tag2|tag1#$#tag1|field2#$#field2|field1#$#field1",
      "body_bytes_sent_name":"body_bytes_sent",
      "status_name":"status",
      "httptime":"1692101000",
      "__time__":"1692101000"
    }
  • 加工规则

    str_split将__labels__字段值解析成数组,lst_append追加数据,lst_sort对数组进行排序,str_join将排序后的数组用 | 连接成一个字符串。

    e_set("__labels__", str_split(v("__labels__"), sep="|"))
    e_set(
        "__labels__",
        str_join(
            "|", lst_sort(lst_append(v("__labels__"), "group#$#group1"), reverse=True),
        ),
    )
  • 加工结果

    {
      "script_md5":"8c6aebe9****c27f",
      "remote_addr":"123.XX.XX.123",
      "remote_user":"-",
      "time_local":"15/Aug/2023:12:03:20",
      "method":"GET",
      "url":"/www.a.com",
      "protocol":"HTTP/1.1",
      "status":"404",
      "body_bytes_sent":"4146",
      "http_referer":"-",
      "http_user_agent":"curl/7.74.0",
      "http_x_forwarded_for":"-",
      "__labels__":"tag2#$#tag2|tag1#$#tag1|group#$#group1|field2#$#field2|field1#$#field1",
      "body_bytes_sent_name":"body_bytes_sent",
      "status_name":"status",
      "httptime":"1692101000",
      "__time__":"1692101000"
    }
相关文章

解析Syslog标准格式数据 2025-04-22 10:54

Syslog是一种行业标准的协议,可用来记录设备的日志。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。本文档介绍如何使用SLS DSL中的GROK函数高效快捷地解析不同格式的Syslog日志。 概况

解析Nginx日志 2025-04-22 10:54

Nginx访问日志记录了用户访问的详细信息,解析Nginx访问日志对业务运维具有重要意义。本文介绍如何使用正则表达式函数或GROK函数解析Nginx访问日志。 解析方案简介

解析Java报错日志 2025-04-22 10:54

在大数据、高并发场景下的Java应用中,通过有效方式分析Java报错日志并提供运维指导,能有效减轻产品运营维护成本。日志服务支持采集各云产品的Java报错日志,通过数据加工解析Java错误日志。 前提条件 已采集各SLS、OSS、SLB、RDS的Java错误

提取字符串动态键值对 2025-04-22 10:54

本文档介绍如何使用不同方案提取字符串键值对。 常用方案比较 字符串动态键值对提取分为关键字提取、值提取、关键字加工和值加工,常用方案

特定格式文本数据加工 2025-04-22 10:54

文档中的实践案例主要是根据实际工作中的工单需求产生。本文档将从工单需求,加工编排等方面介绍如何使用LOG DSL编排解决任务需求。 非标准JSON对象转JSON对象并展开

解析CSV格式日志 2025-04-22 10:54

本文档介绍在解析Syslog或者其他文本格式时,针对数据中以特殊字符分隔的格式如何进行解析。 正常形式的CSV格式日志

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号