赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 对象存储
  4. 实践教程
  5. 数据湖
  6. 阿里云生态
  7. 结合SLS分析OSS-HDFS服务热点访问数据

结合SLS分析OSS-HDFS服务热点访问数据

  • 阿里云生态
  • 发布于 2025-04-21
  • 0 次阅读
文档编辑
文档编辑

为了有效地管理和分析OSS-HDFS服务的审计日志,您需要将审计日志导入日志服务SLS,然后通过SLS内置的查询分析能力对收集的审计日志进行分析,获取OSS-HDFS服务不同时间段内的访问量变化,分析频繁访问的数据、检测异常访问行为等信息。本教程用于演示如何通过SLS分析OSS-HDFS服务热点访问数据。

前提条件

  • 已开通OSS-HDFS服务。

  • 已创建SLS Project。

  • 已创建SLS Logstore。

    您需要创建2个Logstore,分别用于存放OSS-HDFS原始审计日志数据,以及审计日志数据加工结果。

操作步骤

步骤1:将OSS-HDFS服务审计日志文件导入日志服务

  1. 在日志服务控制台的OSS-数据导入页面的选择日志空间页签,选择已创建的Project和Logstore(用于存放OSS-HDFS原始审计日志数据),然后单击下一步。

  2. 在导入配置页签,按要求配置以下参数,其他参数保留默认配置。

    参数

    说明

    OSS区域

    选择已开通OSS-HDFS服务的Bucket所在地域。

    Bucket

    选择已开通OSS-HDFS服务的Bucket名称。

    文件路径前缀过滤

    填写OSS-HDFS服务审计日志文件路径,示例值为.dlsdata/.sysinfo/auditlog-v2/2024-11-26/2024-11-26-00-00-04.auditlog。关于审计日志的各字段含义说明,请参见字段说明。

    请参考以下截图,从OSS控制台文件列表页面的OSS文件页签获取OSS-HDFS服务审计日志文件路径。

    image

    数据格式

    选中单行文本日志。

  3. 单击预览,预览导入结果。确认无误后,单击下一步。

  4. 完成导入后,单击查询日志,进入查询和分析页面,确认是否成功导入OSS数据。

    等待1分钟左右,如果有目标OSS数据导入,则说明导入成功。导入成功后,可以看到如下原始日志。

    image.png

步骤2:对导入Logstore的OSS-HDFS服务审计日志进行数据加工

  1. 预览数据加工结果。

    1. 单击用于存放OSS-HDFS原始审计日志数据的Logstore右侧的数据加工。

    2. 在页面右上角,选择数据的时间范围。

    3. 在编辑框中,输入以下SPL语句。

      SPL语法请参见SPL语法。

      *
      | parse-regexp content, '(\d+-\d+-\d+\s\d+:\d+:\S+\s).*'  as tm
      | parse-kv -regexp content, '(\w+)=([^\t]*)'
      | extend bucket=__source__
    4. 将部分原始日志加入测试数据,验证解析结果。

      image (1).png

    5. 点击image按钮,执行调试运行。

    6. 运行完成后查看加工结果,解析后的格式化数据参考如下。

      image (2).png

  2. 保存数据加工结果。

    1. 单击保存数据加工(新版)。

    2. 在创建数据加工任务(新版)面板中,按要求配置以下参数,其他参数保留默认配置,然后单击确定。

      screenshot_2024-12-25_10-41-37

步骤3:分析OSS-HDFS服务热点访问数据

  1. 进入用于保存数据加工结果的Logstore,单击右侧的开启索引。

  2. 在查询分析面板,单击自动生成索引>追加>确定。

    说明

    开启后等待1min左右即可查询最新数据。

  3. 输入以下SQL语句,然后单击查询/分析。

    说明

    src字段表示文件路径。通过统计src的请求访问次数评估热点数据访问量。

    * | SELECT src,COUNT(*) AS count FROM log GROUP BY src ORDER BY count DESC
  4. 查看热点访问数据路径。

    screenshot_2024-12-25_13-44-23

相关文档

  • SLS支持导入OSS Bucket中的日志文件,方便后续日志查询和分析。更多信息,请参见导入OSS数据。

  • SLS支持基于SPL规则消费源Logstore中的数据,并将SPL规则处理结果写入到的目标Logstore中。您也可以对加工后的数据进行查询和分析,进一步发掘数据价值。更多信息,请参见创建数据加工(新版)任务。

  • 对采集到SLS Logstore中的日志进行查询和分析,需要创建索引。更多信息,请参见创建索引。

  • SLS支持使用SQL语句对查询结果进行分析。更多信息,请参见SQL分析语法与功能。

相关文章

结合SLS分析OSS-HDFS服务热点访问数据 2025-04-21 17:13

为了有效地管理和分析OSS-HDFS服务的审计日志,您需要将审计日志导入日志服务SLS,然后通过SLS内置的查询分析能力对收集的审计日志进行分析,获取OSS-HDFS服务不同时间段内的访问量变化,分析频繁访问的数据、检测异常访问行为等信息。本教程用于演示如何通过SLS分析OSS-HDFS服务热点访问

通过XIHE SQL或者Spark SQL访问OSS数据 2025-04-21 17:13

在EMR Hive或Spark中访问OSS-HDFS 2025-04-21 17:13

EMR-3.42及后续版本或EMR-5.8.0及后续版本的集群,支持OSS-HDFS(JindoFS服务)作为数据存储,提供缓存加速服务和Ranger鉴权功能,使得在Hive或Spark等大数据ETL场景将获得更好的性能和HDFS平迁能力。本文为您介绍E-MapReduce(简称EMR)Hive或S

实时计算Flink读写OSS或者OSS-HDFS 2025-04-21 17:13

阿里云实时计算Flink支持通过连接器读写OSS以及OSS-HDFS数据。通过配置OSS或者OSS-HDFS连接器的输入属性,实时计算Flink会自动从指定的路径读取数据,并将其作为实时计算Flink的输入流,然后将计算结果按照指定格式写入到OSS或者OSS-HDFS的指定路径。 前提条件 已开通F

EMR Flink写入OSS-HDFS服务 2025-04-21 17:13

可恢复性写入功能支持将数据以EXACTLY_ONCE语义写入存储介质。本文介绍Flink如何通过EMR集群的方式可恢复性写入OSS-HDFS服务。 前提条件

使用Flume同步EMR Kafka集群的数据至OSS-HDFS服务 2025-04-21 17:13

本文为您介绍如何使用Flume同步EMR Kafka集群的数据至阿里云OSS-HDFS服务。 前提条件 <

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号