赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 对象存储
  4. 操作指南
  5. 日志与监控
  6. 日志管理
  7. 实时日志查询常见示例

实时日志查询常见示例

  • 日志管理
  • 发布于 2025-04-21
  • 0 次阅读
文档编辑
文档编辑

通过使用日志服务SLS的实时日志查询,您可以分析OSS的访问日志和每小时计量日志,以监控和优化OSS的使用,定位和分析问题,提升存储和访问效率。本文介绍实时日志查询的常见示例。

分析某个OSS目录下文件的外网流出流量

OSS用量查询无法精确到某个目录。您可以通过OSS访问日志中的host字段过滤外网访问域名,sync_request字段排除CDN回源请求,object字段前缀匹配目录文件,最后通过content_length_out字段计算总和,获得指定目录下文件的外网流出流量。

查询和分析语句

统计examplebucket的bucket中exampledir目录下所有文件的外网流出流量。

* and __topic__ : oss_access_log and bucket: examplebucket and host : "examplebucket.oss-cn-hangzhou.aliyuncs.com" not sync_request : cdn | select
  SUM(content_length_out) AS total_traffic_out_byte
WHERE
  url_decode(object) LIKE 'exampledir/%'

查询和分析结果

重要

由于请求的host字段可能被伪造,因此以下查询结果仅供预估。关于OSS外网流出流量的实际费用请以账单为准。

名为examplebucket的bucket中exampledir目录下所有文件的外网流出流量总计为11749字节。

1.png

分析某个OSS目录下文件的大小增减情况

OSS用量查询可以查看Bucket下所有文件的大小增减,但无法精确到某个目录。若需分析某个OSS目录下文件的大小增减情况,您可以通过匹配OSS访问日志中的object字段前缀统计目录下的文件,并计算delta_data_size字段的总和,从而获得指定目录下所有文件大小的增减情况。

查询和分析语句

统计examplebucket中exampledir目录下文件的大小增减情况。

* and __topic__ : oss_access_log and bucket: examplebucket | select
  SUM(delta_data_size) AS total_delta_data_size
WHERE
  url_decode(object) LIKE 'exampledir/%'

查询和分析结果

名为examplebucket的bucket中exampledir目录下文件的大小增加了941字节。

2.png

分析未通过CDN加速的OSS外网请求

在开启CDN加速服务后,如果依然能观察到显著的OSS外网请求,则说明您的业务中引用的资源URL仍指向OSS源站,而非CDN加速域名。为了识别未通过CDN加速的外网请求,您可以通过OSS访问日志中的host字段过滤出OSS外网访问域名,通过sync_request字段排除CDN回源请求。您还可以结合使用referer字段确定这些请求的来源网页或应用程序。

查询和分析语句

分析名为examplebucket的bucket未通过CDN加速的OSS外网请求。

* and __topic__: oss_access_log and bucket: examplebucket and host : "examplebucket.oss-cn-hangzhou.aliyuncs.com" not sync_request: cdn | select
  referer,
  host,
  count(*) as request_count
group by
  referer,
  host
order by request_count desc

查询和分析结果

重要

由于请求的host字段可能被伪造,因此以下查询结果仅供预估。关于OSS外网流出流量的实际费用请以账单为准。

分析名为examplebucket的bucket未通过CDN加速的OSS外网请求的结果显示,引起流量最多的前三个来源分别是:Referer字段为空的请求(可能是由于用户直接在浏览器地址栏输入URL),以及来自以.com和.vip域名结尾的网站的请求。

3.png

相关文章

实时日志查询 2025-04-21 18:16

访问对象存储OSS的过程中会产生大量的访问日志。实时日志查询功能将OSS与日志服务SLS相结合,允许您在OSS控制台直接查询OSS的访问日志,帮助您完成OSS访问的操作审计、访问统计、异常事件回溯和问题定位等工作,提升您的工作效率并更好地帮助您基于数据进行决策。 前提条件

实时日志查询常见示例 2025-04-21 18:16

通过使用日志服务SLS的实时日志查询,您可以分析OSS的访问日志和每小时计量日志,以监控和优化OSS的使用,定位和分析问题,提升存储和访问效率。本文介绍实时日志查询的常见示例。 分析某个OSS目录下文件的外网流出流量 OSS用量查询无法精确到某个目录。您可以通过OSS访问日志中的host字段过滤外网

使用CloudLens for OSS 2025-04-21 18:16

日志服务联合阿里云OSS推出CloudLens for OSS,支持Bucket粒度的统一管理视图,支持资源用量、访问分析、异常检测、安全分析等可视化分析能力,提供场景化运维管理,实现Bucket资产的可观测性。 前提条件 使用CloudLens for OSS之前,确保您已了解该功能。更多信息,请

日志转存 2025-04-21 18:16

访问OSS的过程中会产生大量的访问日志。您可以通过日志转存功能将这些日志按照固定命名规则,以小时为单位生成日志文件写入您指定的存储空间(Bucket)。对于已存储的日志,您可以通过阿里云日志服务或搭建Spark集群等方式进行分析。

设置日志记录请求头或查询参数 2025-04-21 18:16

访问对象存储服务(OSS)时,默认的访问日志提供了一组固定字段,以满足基本分析需求。如果您需要更细致地追踪和分析用户行为或满足特定的监控要求,可能需要设置其他字段。OSS的自定义日志字段user_defined_log_fields允许您记录特定的请求头和查询参数,以满足自定义字段分析需求。 背景信

为什么在OSS访问日志中找不到想要的请求记录? 2025-04-21 18:16

如果在OSS访问日志中找不到想要的请求记录,可能的原因包括: CDN缓存处理:当您使用CDN来加速OSS内容时,客户端的请求可能会被CDN缓存命中,从而不需要回源至OSS。OSS无法记录这些请求,因为请求实际上并未达到OSS。在这种情况下,您可以下载并检查CDN提供的离线日志,从而查看由CDN缓存直

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号