赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 查询与分析
  6. 通过索引模式查询和分析日志
  7. 查询与分析快速指引

查询与分析快速指引

  • 通过索引模式查询和分析日志
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

日志服务提供查询和分析功能,支持秒级查询十亿到千亿级别的日志,并支持通过SQL对查询结果进行统计分析。本文以Nginx日志为例,为您介绍如何快速开启索引,并在控制台完成查询与分析的基本操作。

前提条件

已创建Project、标准型Logstore并完成日志采集。具体操作,请参见创建项目Project、创建Logstore和数据采集概述。

步骤一:配置索引

  1. 登录日志服务控制台。

  2. 在Project列表区域,单击目标Project。

  3. 在日志存储 > 日志库页签中,单击目标Logstore。

  4. 在Logstore的查询和分析页面,单击开启索引。

    说明

    开启后等待1min左右即可查询最新数据。

    image

  5. 单击开启索引后,全文索引开关默认打开。在查询分析页面单击自动生成索引。日志服务会根据采集时预览数据中的第一条内容,自动生成字段索引。

    说明

    其他配置项保持默认即可,更多信息,请参见创建索引。

    image

    生成的字段索引配置如下所示:

    image

步骤二:查询和分析日志

说明

Copilot:AI辅助SQL语句自动生成:日志服务也提供AI智能辅助SQL语句的使用,支持自然语言生成SQL、解释复杂SQL、优化SQL语句。

在查询/分析页面的搜索栏,输入查询或分析语句,并单击查询/分析。image

  • 查询语句

    用于日志数据的查看、简单搜索和过滤。用户使用查询语句,通过特定条件(例如时间范围、请求类型、关键字等)筛选出感兴趣的数据集。查询语句可以单独使用,具体用法请参见查询语法与功能。

    示例:查询状态码为200的日志,可使用以下语句。

    status :200

    更多查询示例,请参见查询语句示例。

  • 分析语句

    用于对日志数据进行过滤、转换、统计、聚合等操作,例如统计一段时间内数据的平均值、获取数据的同比和环比结果。分析语句必须配合查询语句一起使用,格式为查询语句|分析语句,语法说明请参见SQL分析语法与功能。

    示例:查询日志中所有记录,并分析各请求状态的数量,可使用以下语句。

    * | SELECT status, count(*) AS PV GROUP BY status

    更多查询分析示例,请参见SQL函数和SQL子句。

说明

默认情况下,在日志库列表单击Logstore时,系统会进入查询/分析页面并自动执行一次查询操作。您可单击页面右上角的设置图标,在查询设置页签下,关闭该功能或设置查询时间。

image

配置时间范围

您可通过以下三种方式设置日志查询/分析的时间范围。如果在分析语句中设置了时间范围,则查询分析结果以该时间范围为准。

  • 在页面顶端的下拉列表中,选择时间范围例如15分钟。image

  • 在分析语句中通过__time__字段指定时间范围(闭合区间),例如:

    * | SELECT * FROM log WHERE __time__>1731297600 AND __time__< 1731310038
  • 在分析语句中指定时间时,使用from_unixtime函数或to_unixtime函数转换时间格式。例如:

    • * | SELECT * FROM log WHERE from_unixtime(__time__) > from_unixtime(1731297600) AND from_unixtime(__time__) < now()
    • * | SELECT * FROM log WHERE __time__ > to_unixtime(date_parse('2024-10-19 15:46:05', '%Y-%m-%d %H:%i:%s')) AND __time__ < to_unixtime(now())
说明

执行查询和分析语句后,默认只返回100行。如果您希望返回更多数据,可使用LIMIT语法。更多信息,请参见LIMIT子句。

查询/分析页面说明

页面概览image

直方图

image

  • 将鼠标悬浮在绿色数据块上时,您可以查看该数据块代表的时间范围和日志命中次数。

  • 双击绿色数据块,您可以查看更细时间粒度的日志分布,同时原始日志页签中将同步展示指定时间范围内的查询结果。

原始日志

  • 日志详情image

    • 单击表格或原始,切换日志格式。

    • 下载日志 > 下载日志:可下载日志到本地。具体操作,请参见下载日志。

    • image.png>JSON设置:设置JSON展示类型和展示级别。

    • image.png>事件配置:为原始日志配置事件。

    • image.png:复制日志内容。

    • image.png:SLS Copilot,基于日志内容总结信息、查找错误信息等。

    • 查询日志-004:查看指定日志在原始文件中的上下文信息。只有通过Logtail采集到的日志才支持上下文浏览功能。具体操作,请参见上下文查询。

    • LiveTail:实时监控日志内容,提取关键日志信息。只有通过Logtail采集到的日志才支持LiveTail功能。 具体操作,请参见LiveTail。

  • 显示字段image

    • 在显示字段区域,单击目标字段后的image.png,将索引字段从显示字段中清除,右侧的日志信息中不再显示。

    • image.png:收藏视图。在区域5设置显示字段后,可以收藏显示视图。在区域4上方的下拉列表选择视图。

    • image.png>tag设置:将字段设置为系统Tag。

    • image.png>别名:开启后,字段名称将被别名替换,未设置别名的字段仍展示字段名称。设置字段别名的步骤,请参见创建索引。

  • 索引字段image

    • 在索引字段区域,单击目标字段后的image.png,将字段添加到显示字段中,在右侧的日志信息中显示。

    • image.png:查看字段的基本分布情况、统计指标等信息。具体操作,请参见字段设置。

统计图表

统计图表是日志服务根据查询与分析语句渲染出的结果。日志服务提供表格、线图、柱状图等多种图表类型。具体操作,请参见统计图表。 执行查询和分析语句后,您可以在统计图表页签中查看可视化的查询和分析结果。 image

本页签其他功能说明:

  • 添加到仪表盘:仪表盘是日志服务提供的实时数据分析大盘。单击添加到仪表盘,将查询和分析结果以图表形式保存到仪表盘中。具体操作,请参见可视化概述。

  • 另存为定时SQL:日志服务提供定时SQL功能,用于定时分析数据、存储聚合数据、投影与过滤数据。具体操作,请参见定时SQL。

  • 交互事件:交互事件是数据分析中不可缺少的功能之一,通过改变数据维度的层次、变换分析的粒度从而获取数据中更详尽的信息。具体操作,请参见为仪表盘添加交互事件实现下钻分析。

日志聚类image

在日志聚类页签中,单击开启日志聚类,可实现在采集日志时聚合相似度高的日志。具体操作,请参见日志聚类。

SQL增强image

单击右上角SQL独享版图标,可单次开启SQL独享版。当您在使用SQL分析时,如果数据量较大,日志服务无法在一次查询中完整分析这个时间段内的所有日志。通过开启SQL独享版,增加计算资源,可以提升单次分析的数据量。如需设置默认开启,请参见SQL独享版。

告警image

单击右上角另存为告警图标,将查询和分析结果另存为告警。具体操作,请参见快速设置日志告警。

快速查询image

单击右上角快速查询图标,将当前查询和分析语句另存为快速查询。您可通过保存的历史操作,快速执行查询和分析操作。具体操作,请参见快速查询。

分享image

单击右上角image.png图标,复制本页面链接,分享给其他用户。具体操作,请参见控制台内嵌及分享。

数据加工image

单击左上角数据加工,可跳转至数据加工页面。数据加工服务可应用于数据规整与信息提取、数据清洗与过滤、数据分发至多目标Logstore等数据处理场景。具体操作,请参见创建数据加工(新版)任务。

相关文档

  • 查询语法与功能

  • SQL分析语法与功能

  • 时间字段转换示例

  • 查询和分析网站日志

  • 查询和分析JSON日志

  • 分析负载均衡7层访问日志

  • 查询与分析常见问题

相关文章

查询与分析快速指引 2025-04-22 10:58

日志服务提供查询和分析功能,支持秒级查询十亿到千亿级别的日志,并支持通过SQL对查询结果进行统计分析。本文以Nginx日志为例,为您介绍如何快速开启索引,并在控制台完成查询与分析的基本操作。

创建索引 2025-04-22 10:58

如需对采集到Logstore中的日志进行查询和分析,则必须创建索引。本文为您介绍日志服务索引概念、索引类型、创建索引、关闭索引、配置示例和计费说明等。

数据类型 2025-04-22 10:58

您在创建索引时,可将字段的数据类型设置为text、long、double或JSON。本文介绍各个数据类型的配置示例及注意事项。 数据类型概述 在创建索引时,日志服务提供如下数据类型,请按情况进行选择: text、long、double类型:

重建索引 2025-04-22 10:58

当您需要对历史数据配置索引或修改索引时,可以使用重建索引功能。日志服务支持在选定的时间段中按照最新的索引规则为Logstore重建索引。本文介绍如何在日志服务控制台上重建索引及相关信息。 前提条件 已开启索引。具体操作,请参见创建索引

保留字段 2025-04-22 10:58

在采集日志或投递数据到其他云产品时,日志服务会将日志来源、时间戳等信息以Key-Value对的形式添加到日志中。这些字段是日志服务的保留字段。本文介绍日志服务的保留字段。

查询语法与功能 2025-04-22 10:58

日志服务Logstore支持使用查询语句对存储在Logstore中的日志进行筛选。筛选结果可独立使用,也可以用于分析语句,进行更复杂的分析处理。本文介绍查询语句的语法结构,以及应用场景和具体示例。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号