赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 消费与投递
  6. 数据投递
  7. 投递日志到OSS(新版)
  8. CSV格式

CSV格式

  • 投递日志到OSS(新版)
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

日志服务将日志投递到OSS后,支持存储为不同的文件格式。本文介绍CSV格式。

参数配置

在创建OSS投递任务(新版)时,选择存储格式为csv,对应的参数配置如下所示。

CSV字段配置

参数说明如下所示。更多信息,请参见CSV标准和postgresql CSV说明。

参数

说明

CSV字段

在原始日志页签中查看日志字段,将需要投递到OSS的字段名有序填入。

日志服务还提供保留字段__time__、__topic__、__source__等。保留字段的更多信息,请参见保留字段。

说明
  • 同一个日志字段在CSV字段中只能配置一次,不支持多次使用。

  • 如果您的日志中存在同名字段(例如都为request_time),则日志服务会将其中一个字段名显示为request_time_0,底层存储的字段名仍为request_time。因此您在投递时,只能使用原始字段名request_time。

    存在同名字段时,系统只随机投递其中一个字段的值。请尽量避免日志中使用同名字段。

分隔符

用于分割不同的日志字段。支持半角逗号(,)、竖线(|)、空格和制表符。

转义符

当字段内出现分隔符时,需要使用转义符包裹该字段,避免读数据时造成字段错误分割。

无效字段内容

当CSV字段中指定的日志字段不存在时,投递此参数中配置的内容。

投递字段名称

打开投递字段名称开关后,将字段名称写入到CSV文件中。

OSS文件地址

投递到OSS后,OSS文件地址样例如下所示。

说明
  • 在创建OSS投递任务时,如果您自定义了文件后缀,则文件后缀由您自定义的后缀决定。

  • 在创建OSS投递任务时,如果您未自定义文件后缀,则文件后缀由压缩类型决定。

压缩类型

文件后缀

OSS文件地址举例

说明

无压缩

如果您自定义了文件后缀,则以您的设置为准,例如.suffix。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix

未压缩的CSV文件可下载到本地,以文本方式打开查看。

如果未自定义文件后缀,则文件后缀为.csv。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.csv

压缩(snappy)

如果您自定义了文件后缀,则以您的设置为准,例如.suffix。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix

Snappy压缩文件的打开方式,请参见打开Snappy压缩文件。

如果未自定义文件后缀,则文件后缀为.snappy.csv。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy.csv

压缩(gzip)

如果您自定义了文件后缀,则以您的设置为准,例如.suffix。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix

如果使用了gzip压缩,则您可以安装并使用gzip命令进行解压。

如果未自定义文件后缀,则文件后缀为.gz.csv。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.gz.csv

压缩(zstd)

如果您自定义了文件后缀,则以您的设置为准,例如.suffix。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix

如果使用了zstd压缩,则您可以安装并使用zstd命令进行解压。

如果未自定义文件后缀,则文件后缀为.zst.csv。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.zst.csv

相关文章

稳定性说明与使用限制 2025-04-22 10:49

本文介绍OSS投递(新版)的稳定性与使用限制。 稳定性说明 读日志服务

授权 2025-04-22 10:49

您使用OSS投递(新版)功能时,涉及OSS投递操作权限和数据访问权限。 如果您使用的是阿里云账号,只需完成OSS投递任务访问数据的授权。

授权RAM用户操作OSS投递 2025-04-22 10:48

当您使用RAM用户操作OSS投递(新版)功能时,需参见本文中的步骤完成授权。 前提条件 已创建RAM用户。具体操作,请参见创建RAM用户。

通过默认角色访问数据 2025-04-22 10:48

阿里云系统角色AliyunLogDefaultRole具备读取Logstore数据及将数据投递到OSS Bucket中的权限。您可以授予OSS投递任务(新版)使用AliyunLogDefaultRole角色来读取源Logstore中的数据并将数据投递到OSS Bucket中。

通过自定义角色访问数据(同账号场景) 2025-04-22 10:48

OSS投递任务(新版)运行时,将拉取Logstore中的数据并投递到OSS Bucket中,您可以使用自定义角色来完成以上操作。本文介绍如何对自定义角色进行授权。 前提条件 已创建RAM角色。

通过自定义角色访问数据(跨账号场景) 2025-04-22 10:48

假设有这样一个场景,您的日志服务位于阿里云账号A,

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号