赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据加工
  6. 数据加工(旧版)
  7. 数据加工(旧版)常见问题
  8. 源Logstore读取错误

源Logstore读取错误

  • 数据加工(旧版)常见问题
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

本文介绍数据加工服务读取源Logstore错误的原因以及排查处理方法。

加工引擎启动成功后,开始读取源Logstore的数据。数据加工引擎对源Logstore采用流式读取,在加工过程中会持续不断的读取源Logstore中的数据。源Logstore读取错误

本环节产生错误主要是由于对源Logstore的访问异常。可能原因如下:

  • 源Logstore信息配置错误。

  • 源Logstore信息发生变化。

  • 网络错误。

错误影响:

  • 读取源Logstore发生错误时,加工任务会一直重试,直到重试成功或被手动停止。重试成功后,加工任务会继续正常工作。

  • 加工任务会保存之前成功的断点并一直重试。重试成功后,从断点处继续读取,不会产生数据的丢失和冗余。

常见错误排查

  • 为源Logstore配置了非法的AccessKey ID和AccessKey Secret。

    • 错误日志

      {
        "errorCode": "Unauthorized", 
        "errorMessage": "AccessKeyId not found: LTAI****************"
      }
      { 
        "errorCode": "SignatureNotMatch", 
        "errorMessage": "signature uJfAJbc0ji04gb+cXhh0qWt****= not match"
      }
    • 排查方法

      检查您所配置的源Logstore的AccessKey ID和AccessKey Secret是否存在且正确。

  • 源Logstore信息发生变化。

    您配置了正确的源Logstore信息,并已进行了部分加工任务,但是在数据加工过程中,源Logstore信息发生了变化,导致原有的配置信息无法访问源Logstore。

    • 错误日志

      源Logstore信息发生变化主要是以下两种情况:

      • 源Logstore被删除。

        {
          "errorMessage": "Logstore [logstore_name] does not exist."
        }
      • 源Logstore的AccessKey信息发生变化。

        {
          "errorCode": "Unauthorized", 
          "errorMessage": "AccessKeyId not found: LTAI****************"
        }
        { 
          "errorCode": "SignatureNotMatch", 
          "errorMessage": "signature uJfAJbc0ji04gb+cXhh0qWt****= not match"
        }
    • 排查方法

      • 检查源Logstore是否被删除。

      • 检查源Logstore的AccessKey信息是否发生改变。

  • 网络异常。

    • 错误日志

      {
        "errorCode": "LogRequestError",
        "errorMessage": "HTTPConnectionPool(host='your_host', port=80): Max retries exceeded with url: your_url (Caused by NewConnectionError: Failed to establish a new connection: [Errno 11001] getaddrinfo failed'"
      }
    • 排查方法

      检查网络连接是否正常。

  • 读取不到源Logstore数据。

    该问题无报错信息。更多信息,请参见通用错误排查。

相关文章

加工引擎启动错误 2025-04-22 10:53

本文档为您介绍加工引擎启动错误的原因以及排查处理方法。 数据加工任务的第一个环节便是启动加工引擎。该环节产生错误主要是由于在启动加工引擎过程时,检测到您编写的SLS DSL规则存在错误,导致加工引擎内部的安全审核不通过。

加工规则错误 2025-04-22 10:53

本文档为您介绍数据加工规则错误的原因以及排查处理方法。 读取源Logstore数据成功后,加工引擎开始对源Logstore的日志事件进行加工。

源Logstore读取错误 2025-04-22 10:53

本文介绍数据加工服务读取源Logstore错误的原因以及排查处理方法。 加工引擎启动成功后,开始读取源Logstore的数据。数据加工引擎对源Logstore采用流式读取,在加工过程中会持续不断的读取源Logstore中的数据。

资源加载错误 2025-04-22 10:53

本文介绍在数据加工规则中加载资源数据错误的原因及排查处理的方法。 错误处理机制 资源加载错误的处理机制请参见res_log_

目标Logstore输出错误的原因和排查方法 2025-04-22 10:53

本文档为您介绍数据加工服务进行数据加工后,将加工结果写入目标Logstore产生错误的常见原因和排查处理方法。 工作原理 日志事件被加工完之后,会被输出到预先配置好的目标Logstore中。LOG DSL引擎每次读取一个批次的源日志(从1条到近万条不等),数据加工后,并不是加工一条日志就输出一条,而

获取Logstore数据(维表)错误 2025-04-22 10:53

如果加工规则中涉及其他Logstore资源的加载,则有可能会产生资源的加载或刷新错误。本文档主要介绍从其他Logstore获取数据的常见错误以及排查处理方法。 在成功读取源Logstore数据后,加工引擎开始对源Logstore的日志事件进行加工。如果加工规则中涉及OSS、RDS、Logstore等

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号