赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 日志应用
  6. 智能异常分析
  7. 智能异常分析常见问题
  8. 如何合理选择数据特征

如何合理选择数据特征

  • 智能异常分析常见问题
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

一个数据源(日志库或时序库)中会存在很多字段,用于智能巡检。本文介绍如何合理选择字段用于配置数据特性。

您在配置数据特征时,可选择数据类型为指标化数据或非指标化数据,两者的数据特征配置不同。

  • 针对指标化数据,模型采用消费组方式提取指标,对指标进行智能巡检。

  • 针对非指标化数据,模型通过您自定义的查询和分析语句提取指标,对指标进行智能巡检。

日志样例

一般用于智能巡检的日志为如下两种形式:

  • 日志A

    __time__: 1631794322
    service_name: front-end
    host_name: front-end-davadf-0
    process_pid: 9
    cpu_util: 0.8
    mem_util: 34
    avg_load: 10.534
    disk_util: 0.112
  • 日志B

    __time__: 1631794322
    service_name: front-end
    host_name: front-end-davadf-0
    process_pid: 9
    metric_name: cpu_util
    value: 0.8

配置示例一

采用消费组方式提取指标,对指标进行智能巡检。配置示例如下:

  • 日志A

    • 配置时间项为__time__。

    • 配置实体项为service_name、host_name、process_pid。

      说明

      当前实体可能有多个process_pid,导致实体项(service_name、host_name)在每个时间点,不能指定唯一的实体。如果只配置实体项为service_name、host_name,会导致模型不能识别数据特征。

    • 配置特征项为cpu_util、mem_util、avg_load、disk_util。

  • 日志B

    • 配置时间项为__time__。

    • 配置实体项为service_name、host_name、process_pid、metric_name。

      说明

      当前实体可能有多个process_pid和metric_name,导致实体项(service_name、host_name)在每个时间点,不能指定唯一的实体。如果只配置实体项为service_name、host_name,会导致模型不能识别数据特征。

    • 配置特征项为value。

配置示例二

通过您自定义的查询和分析语句提取指标,对指标进行智能巡检。配置示例如下:

说明

通过SQL聚合后,实体项可以指定唯一的实体。

  • 日志A

    • 配置查询和分析语句为* | select __time__-__time__%60 as __time__, avg(cpu_util) as cpu_util, avg(mem_util) as mem_util, service_name, host_name from log group by __time__, service_name, host_name limit 1000。

    • 配置时间项为__time__。

    • 配置实体项为service_name、host_name。

    • 配置特征项为cpu_util、mem_util、disk_util。

  • 日志B

    • 配置查询和分析语句为* | select __time__-__time__%60 as __time__, avg(if(metric_name = 'cpu_util', value, 0)) as value, service_name, host_name from log group by __time__, service_name, host_name limit 1000。

    • 配置时间项为__time__。

    • 配置实体项为service_name、host_name。

    • 配置特征项为value。

相关文章

为什么没有捕捉到异常事件 2025-04-22 10:43

本文介绍创建智能巡检作业后,未捕捉到时序数据中异常事件的原因。 异常事件发生在创建智能巡检作业之前。 历史数据只用于模型训练,模型不会对历史数据输出异常事件。

如何设置数据特征中的最小值和最大值 2025-04-22 10:43

本文介绍如何设置数据特征中的最小值和最大值。 数据特征中的最小值和最大值是指当前指标在极端情况下最大可接受的边界。当指标值超出该边界时,模型判断该指标异常,并产生异常事件。该异常事件具备最高异常分数(1.0),将触发告警。如果指标值在最小值和最大值范围内,模型会自动拟合数据分布和变化趋势,当数据波动

如何合理选择数据特征 2025-04-22 10:43

一个数据源(日志库或时序库)中会存在很多字段,用于智能巡检。本文介绍如何合理选择字段用于配置数据特性。 您在配置数据特征时,可选择数据类型为指标化数据或非指标化数据,两者的数据特征配置不同。

如何设置初始化时间窗口数量? 2025-04-22 10:43

日志异常分析算法从创建任务时开始运行,其中算法模型需要经过一段时间的初始化训练后才能进行异常检测。您需要通过时间窗口数量和时间窗口长度指定合适的初始化时间。 合适的初始化时间,可以使算法模式在初始化阶段分析到大多数的日志类别,有利于更好的异常检测。一般日志是周期性生成的,所以初始化时间需与日志生成的

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号