赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 资源管理
  6. 管理Shard

管理Shard

  • 资源管理
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

您可以通过分裂、合并操作控制活跃的Shard数量来调整日志服务Logstore可以提供的最大读写能力。分裂Shard可以自动触发,但合并Shard必须手动执行。本文为您介绍如何分裂、合并、删除Shard以及设置自动分裂Shard。

基本概念

日志服务中的数据必定保存在某一个分区(Shard)上。日志服务使用Shard控制Logstore、EventStore、MetricStore的读写数据的能力。您在创建Logstore、MetricStore、EventStore时需要设置Shard数量,后续还可以设置Shard分裂或合并,实现Shard数量的增加或减少。更多信息,请参见分区(Shard)。

分裂Shard

建议您根据实际业务数据流量规划Shard个数。每个Shard支持5MB/s或500次/s的数据写入、10MB/s或100次/s的数据读取。此限制非硬性限制,超出限制时,系统会尽可能提供服务,但是不保证服务质量。当数据读写流量超出Shard读写能力时,需要及时分裂Shard以增加Shard个数,从而提供更高的读写能力。

说明

当写入数据的API持续报告403或者500错误时,您可以通过Logstore云监控查看流量和状态码判断是否需要增加Shard。

控制台操作

  1. 登录日志服务控制台。

  2. 在Project列表区域,单击目标Project。

    image

  3. 在日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择修改日志库 > 修改。

    image

  4. 在Logstore属性页面中,单击修改。

  5. 选择待分裂的Shard,单击分裂。

    重要

    分裂Shard时,需要选择一个处于readwrite状态的Shard。

    分裂分区

  6. 选择分裂数量,单击确定。

  7. 单击保存。

命令行操作

您也可以通过日志服务命令行工具CLI一次性分裂Shard到指定数量。更多信息,请参见使用CLI配置Shard。

查看Shard

控制台操作

  1. 登录日志服务控制台。

  2. 在Project列表区域,单击目标Project。

    image

  3. 在日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择修改日志库 > 修改。

    image

  4. 在Logstore属性页面中,查看当前Logstore的Shard列表。

    image

自动分裂Shard

日志服务支持自动分裂Shard,帮助您自动处理业务流量超出预估值的场景。自动分裂Shard需要满足以下几个条件。

  • 开启了自动分裂Shard开关。

  • 当写入数据量超出当前Shard的写入服务能力且持续5分钟以上。

  • Logstore中readwrite状态的Shard数目未超过设定的最大Shard总数。

说明

最近15分钟内分裂出来的新Shard不会自动分裂。

您可以在创建或修改Logstore时开启自动分裂Shard,并设定Shard的最大分裂数。

  • 自动分裂Shard

    例如原本存在4个Shard,日志服务会独立判断各个Shard是否满足分裂条件。满足分裂条件的Shard会各自进行分裂,分裂总数不会超过您所设定的最大分裂数。

  • 最大分裂数

    Shard自动分裂的最大总数目。开启自动分裂Shard功能后,最多支持自动分裂至256个readwrite状态的Shard。

合并Shard

当数据读写流量远达不到Shard的最大读写能力时,建议您合并Shard,降低活跃Shard租用费用。您可以通过合并操作减少Shard数量,日志服务会找到指定Shard右侧相邻的Shard,并将两个Shard合并。合并Shard只支持手动操作,无法自动合并。

重要

合并Shard时,必须指定一个处于readwrite状态的Shard,且不能是最后一个readwrite状态的Shard。

  1. 在日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择修改日志库 > 修改。

    image

  2. 在Logstore属性页面中,单击修改。

  3. 选择待合并的Shard,单击合并。

    合并分区

  4. 单击保存。

    合并完成后,所指定的Shard及其右侧相邻Shard的状态变成readonly。同时新生成一个readwrite状态的Shard,新Shard的MD5范围覆盖原来两个Shard的范围。

删除Shard

警告

删除Shard后,无法恢复,请谨慎操作。

  • 自动删除

    如果您在创建Logstore时设置了数据保存时间,那么Shard及Shard中的数据超出保存时间后会被自动删除。

  • 手动删除

    如果您在创建Logstore时开启了永久保存,建议您通过删除Logstore的方式删除Logstore中的Shard和数据。更多信息,请参见删除Logstore。

Shard接口

操作

接口

分裂Shard

SplitShard

合并Shard

MergeShard

查询Shard

ListShards

相关文章

资源管理概述 2025-04-22 11:05

日志服务提供控制台、API、SDK、CLI等方式管理日志项目(Project)、日志库(Logstore)等资源。 前提条件 拥有阿里云账号,未注册请参见注册阿里云

管理Project 2025-04-22 11:05

删除日志项目可能导致日志库的数据丢失,请确认Logstore,MetricStore、EventStore等数据无用或已做好数据备份。本文介绍如何在日志服务控制台上创建、删除日志项目Project等操作。 基本概念 项目(Project)是日志服务中的资源管理单元,用于资源隔离和控制。Project

管理Project回收站 2025-04-22 11:05

本文主要介绍日志服务的Project回收站功能。 功能简介 日志服务支持Project回收站功能,开启回收站功能的Project,在用户执行删除操作后,对应Project数据临时放入回收站空间,回收站里的Project不可读写,但可以重新恢复。恢复范围包括Project下的所有数据及相关配置( Lo

管理传输加速 2025-04-22 11:05

如果需要远距离日志传输,例如从海外向中国内地的地域写入日志,可以开启传输加速功能。传输加速利用全球分布的云机房,将全球各地用户对日志服务的访问,经过智能路由解析至就近的接入点,使用优化后的网络及协议极大地提升访问速度。 使用场景 数据加工跨地域的数据传

管理Logstore 2025-04-22 11:05

删除Logstore必须提前删除所有Logtail配置,删除日志是通过设置更短的保存时间,本文介绍Logstore选型、创建及升级Logstore、删除Logstore与日志等操作。 什么是Logstore

管理MetricStore 2025-04-22 11:05

删除MetricStore必须提前删除所有Logtail配置,通过减少数据保存时间,实现日志的自动删除。本文介绍如何在日志服务控制台上创建、修改、删除MetricStore与时序数据等操作。 基本概念 时序库(MetricStore)是日志服务中时序数据的采集、存储和查询单元。每个MetricSto

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号