赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 消费与投递
  6. 数据投递
  7. 投递日志到OSS(新版)
  8. JSON格式

JSON格式

  • 投递日志到OSS(新版)
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

日志服务将数据投递到OSS后,支持存储为不同的文件格式。本文介绍JSON格式。

参数配置

在创建OSS投递任务(新版)时,如果选择存储格式为json,对应的参数配置如下所示。

json

参数

说明

是否投递tag

是否投递日志tag字段,例如__tag__:abc。

OSS文件地址

投递到OSS后,OSS文件地址样例如下所示。

说明
  • 在创建OSS投递任务时,如果您自定义了文件后缀,则文件后缀由您自定义的后缀决定。

  • 在创建OSS投递任务时,如果您未自定义文件后缀,则文件后缀由压缩类型决定。

压缩类型

文件后缀

OSS文件地址示例

说明

不压缩

如果您自定义了文件后缀,则以您的设置为准,例如.json。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

未压缩的JSON文件可下载到本地,以文本方式打开查看。文件样例如下所示。

{"__time__":"1453809242","__topic__":"","__source__":"10.170.***.***","ip":"10.200.**.***","time":"26/Jan/2016:19:54:02 +0800","url":"POST
              /PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>
              HTTP/1.1","status":"200","user-agent":"aliyun-sdk-java"}

如果未自定义文件后缀,则无文件后缀。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937

压缩(snappy)

如果您自定义了文件后缀,则以您的设置为准,例如.json。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

使用snappy压缩、解压缩的详细说明,请参见解压Snappy压缩文件。

问题:

如果使用了snappy压缩且通过EMR的hive读取文件时,可能会报如下错误:

image

解决方案:

请先执行语句:io.compression.codec.snappy.native=true; ,再进行查询操作。EMR的hive其他相关问题,请提工单解决。

如果未自定义文件后缀,则文件后缀为.snappy。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy

压缩(gzip)

如果您自定义了文件后缀,则以您的设置为准,例如.json。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

如果使用了gzip压缩,则您可以安装并使用gzip命令进行解压。

如果未自定义文件后缀,则文件后缀为.gz。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.gz

压缩(zstd)

如果您自定义了文件后缀,则以您的设置为准,例如.json。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

如果使用了zstd压缩,则您可以安装并使用zstd命令进行解压。

如果未自定义文件后缀,则文件后缀为.zst。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.zst

相关文章

稳定性说明与使用限制 2025-04-22 10:49

本文介绍OSS投递(新版)的稳定性与使用限制。 稳定性说明 读日志服务

授权 2025-04-22 10:49

您使用OSS投递(新版)功能时,涉及OSS投递操作权限和数据访问权限。 如果您使用的是阿里云账号,只需完成OSS投递任务访问数据的授权。

授权RAM用户操作OSS投递 2025-04-22 10:48

当您使用RAM用户操作OSS投递(新版)功能时,需参见本文中的步骤完成授权。 前提条件 已创建RAM用户。具体操作,请参见创建RAM用户。

通过默认角色访问数据 2025-04-22 10:48

阿里云系统角色AliyunLogDefaultRole具备读取Logstore数据及将数据投递到OSS Bucket中的权限。您可以授予OSS投递任务(新版)使用AliyunLogDefaultRole角色来读取源Logstore中的数据并将数据投递到OSS Bucket中。

通过自定义角色访问数据(同账号场景) 2025-04-22 10:48

OSS投递任务(新版)运行时,将拉取Logstore中的数据并投递到OSS Bucket中,您可以使用自定义角色来完成以上操作。本文介绍如何对自定义角色进行授权。 前提条件 已创建RAM角色。

通过自定义角色访问数据(跨账号场景) 2025-04-22 10:48

假设有这样一个场景,您的日志服务位于阿里云账号A,

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号