赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据处理
  6. 快速入门

快速入门

  • 数据处理
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

当您为Logstore关联了数据写入处理器后,可以通过处理器对日志数据进行处理。例如将某网站的访问日志(单行文本)采集到Logstore,您可以创建一个写入处理器,解析原始日志,提取出有效的日志字段,进行查询和分析。

前提条件

  • 已有可用的ECS。具体操作,请参见云服务器ECS快速入门。

  • 已开通日志服务。具体操作,请参见开通日志服务。

  • 如果您使用的是RAM用户,需要先授予RAM用户数据写入处理器的操作权限。具体操作,请参见管理权限。

方案概览

本方案通过Logtail的方式采集Nginx访问日志,然后通过写入处理器将单行日志解析成${key}:${value}格式,最后将日志输出到Logstore,具体流程如下:

image
  1. Logtail采集日志:开通日志服务,使用Logtail采集ECS主机Nginx日志,将日志采集到Logstore中。

  2. 配置写入处理器:配置SPL语句对原始日志进行解析。

  3. 关联写入处理器:Logstore关联目标写入处理器,新产生的日志在写入Logstore之前,经过写入处理器完成解析,解析后的日志写入到Logstore进行查询和分析。

1. Logtail采集日志

1.1 创建Project和Logstore

  1. 登录日志服务控制台。

  2. 创建Project。

    在Project列表区域,单击创建Project,例如创建地域为菲律宾(马尼拉),名称为web-project-test的Project。详细配置,请参见管理Project。

    image

  3. 创建Logstore。

    创建Project完成后,系统会提示您创建一个Logstore。比如创建名称为website_log的Logstore。详细配置,其请参见管理Logstore。

1.2 采集Nginx访问日志

某网站将其Nginx访问日志存储在ECS主机的/var/log/nginx/access.log中,日志默认单行输出,access.log内容如下:

192.168.1.75 - David [2024-07-31T14:27:24+08:00] "PUT /request/path-0/file-8 HTTP/1.1" 819 21577 403 73895 www.test5.com www.test2.com "Mozilla/5.0 (Windows NT 5.2; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.41 Safari/535.1"

使用Logtail采集ECS主机Nginx日志,操作步骤,请参见采集主机文本日志。将/var/log/nginx/access.log的日志采集到website_log,查询/分析如下图。

image

您也可以使用SDK的方式进行采集,详细请参见Java SDK快速入门。更多信息,请参见数据采集概述。

2. 配置写入处理器

2.1 进入数据处理器页

  1. 在Project列表区域,单击web-project-test。

    image

  2. 在左侧导航栏单击资源 > 数据处理器。

    image

2.2 创建写入处理器

  1. 在数据处理器 > 写入处理器页签,单击创建。

    image

  2. 在创建处理器面板,参考下图配置,然后单击确定。

    image

    SPL配置如下,写入处理器处理数据基于SPL实现。更多SPL信息,请参见SPL概述。

    * 
    | parse-regexp content, '(\S+)\s-\s(\S+)\s\[(\S+)\]\s"(\S+)\s(\S+)\s(\S+)"\s(\d+)\s(\d+)\s(\d+)\s(\d+)\s(\S+)\s(\S+)\s"(.*)"' as remote_addr, remote_user, time_local, request_method, request_uri, http_protocol, request_time, request_length, status, body_bytes_sent, host, referer, user_agent
    | project-away content
    | extend __topic__ = request_method

3. 关联写入处理器

3.1 Logstore关联写入处理器

  1. 在左侧导航栏,单击日志存储,将鼠标悬浮在上website_log上,单击修改。

    image

  2. 在website_log属性页面,单击右上角修改,在编辑状态下配置写入处理器,选择您创建的解析Nginx日志写入处理器,然后单击保存。

    image

3.2 查询和分析

在左侧导航栏单击日志存储,在日志查询页面,查看解析之后的日志,如下图。

说明

关联写入处理器之后,会对新产生的日志生效,您需要等待1分钟左右,在日志查询页面可以查看解析之后的日志。

image

相关文档

  • 管理写入处理器,请参见管理写入处理器。

  • 开通日志服务后,采集日志更多信息,请参见数据采集概述。

  • 写入处理器处理数据基于SPL实现,关于SPL语法,请参见SPL语法。

相关文章

快速入门 2025-04-22 10:53

当您为Logstore关联了数据写入处理器后,可以通过处理器对日志数据进行处理。例如将某网站的访问日志(单行文本)采集到Logstore,您可以创建一个写入处理器,解析原始日志,提取出有效的日志字段,进行查询和分析。 前提条件

授权RAM用户进行数据处理 2025-04-22 10:53

如需使用RAM用户进行数据处理,必须为RAM用户授予相应的权限策略。本文介绍具体的授权步骤。 操作步骤

管理写入处理器 2025-04-22 10:53

日志在写入Logstore之前,写入处理器可以对数据进行预处理,例如数据过滤、字段提取、字段扩展、数据脱敏等场景。本文介绍如何在日志服务控制台上管理写入处理器。 创建写入处理器 登录

数据处理常见问题 2025-04-22 10:53

本文介绍日志服务中数据处理器的常见问题。 Logstore关联写入处理器后,删除了写入处理器,对数据写入有什么影响? 会直接写入原始数据。

写入处理器使用场景 2025-04-22 10:53

写入处理器可在日志数据写入Logstore前对数据进行处理,例如字段修改,字段解析,数据过滤和数据脱敏。本文介绍写入处理器的配置方法,以及使用场景示例。 前提条件 已创建Project、标准型Logstore并完成日志采集配置。具体操作,请参见创建项目Project、创建L

使用写入处理器处理云产品日志 2025-04-22 10:53

由于云产品日志通常由系统自动生成,用户无法直接控制其内容,因此可以通过配置写入处理器来处理这些日志。文中列举了部分常用的数据处理方式作为参考。 前提条件 已创建Project、标准型Logstore并完成日志采集配置。具体操作,请参见创建项目

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号