赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 对象存储
  4. 操作指南
  5. 数据湖管理
  6. OSS-HDFS服务
  7. 数据管理
  8. 设置目录配额

设置目录配额

  • 数据管理
  • 发布于 2025-04-21
  • 0 次阅读
文档编辑
文档编辑

如果需要限制OSS-HDFS服务的目录容量以及目录下的文件或者子目录的数量,避免因单个目录容量或者目录下的子目录和文件数量过大,出现超额计费的问题,您可以使用目录配额功能。

配额说明

  • 容量配额:目录下(包括子目录和文件)使用空间总和的上限。如果超过容量配额,则在该目录下创建文件或者子目录会失败。

  • 数量配额:目录下(包括子目录和文件)数量总和的上限。如果超过数量配额,则在该目录下创建文件或者子目录会失败。

使用限制

当前仅支持对目录的容量和数量(即目录下的子目录和文件)设置配额,不支持对该目录基于不同存储类型分别设置配额。

注意事项

目录配额的容量和数量统计并非实时更新,可能存在一定的延迟。当设置配额的目录数量较多或目录容量较大时,统计结果可能会出现小时级别的误差,存在实际使用量超出配额限制的情况。

操作步骤

  1. 下载Jindofs SDK。

  2. 配置访问密钥和环境变量。

    1. 进入已安装的Jindofs JAR包下的bin目录。

      以下以jindofs-sdk-x.x.x-linux为例,如使用其他版本的JindoSDK,请替换为对应的JAR包名称。

      cd jindofs-sdk-x.x.x-linux/bin/
    2. 在bin目录下新建配置文件jindofs.cfg,并配置阿里云账号的访问密钥(包括Accesskey ID和Accesskey Secret),或者满足权限要求的RAM用户的访问密钥。

      [client]
      fs.oss.accessKeyId = yourAccessKeyID              
      fs.oss.accessKeySecret = yourAccessKeySecret
    3. 设置环境变量。

      说明

      <JINDOSDK_CONF_DIR>填写jindofs.cfg配置文件所在的绝对路径。

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>
  3. 开启目录配额功能。

    ./jindofs admin -putConfig -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/ -conf namespace.directory.quota.enable=true
    说明

    <bucket>填写已开通OSS-HDFS服务的Bucket名称。<oss-hdfs-endpoint>填写OSS-HDFS服务的Endpoint,示例值为cn-shanghai.oss-dls.aliyuncs.com。

    查看是否已成功开启目录配额功能。

    ./jindofs admin -getConfig -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/ -name namespace.directory.quota.enable
  4. 设置目录配额。

    • 设置目录数量配额为1000,即该目录下的子目录和文件数量不能超出1000。

      ./jindofs admin -setQuota -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/<path> -q 1000
    • 设置指定目录容量配额为1000,单位为字节。

      ./jindofs admin -setSpaceQuota -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/<path> -q 1000

      设置目录配额后,您可以查看目录配额。

      ./jindofs fs -count -q -v -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/<path>
  5. (可选)清除目录配额。

    如果业务需求发生变化,或者某个目录的存储容量已超出初始规划,不再需要限制该目录的容量或数量(即该目录下的子目录和文件),可以清除目录配额以解除限制。

    • 清除目录数量((即该目录下的子目录和文件))配额。

      ./jindofs admin -clearQuota -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/<path>
    • 清除目录容量配额。

      ./jindofs admin -clearSpaceQuota -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/<path>
相关文章

使用冷热分层存储 2025-04-21 18:15

并不是所有OSS-HDFS中存储的数据都需要频繁访问,但基于数据合规或者存档等原因,部分数据仍然需要继续保存。针对以上问题,OSS-HDFS服务支持数据的冷热分层存储,对于经常需要访问的数据以标准类型进行存储,对于较少访问的数据以低频、归档、冷归档或者深度冷归档类型进行存储,从而降低总存储成本。 前

转换元数据 2025-04-21 18:15

OSS-HDFS服务支持在未部署任何导入和导出工具的情况下,直接将OSS元数据转换为OSS-HDFS元数据。 前提条件

使用回收站 2025-04-21 18:15

使用OSS-HDFS回收站时,需要客户端将待删除文件挪至指定目录,并由服务端定时清理该目录下的数据。 删除文件说明 当您从OSS-HDFS服务非强制删除文件时,文件不会立即被删除,而是转至

设置目录配额 2025-04-21 18:15

如果需要限制OSS-HDFS服务的目录容量以及目录下的文件或者子目录的数量,避免因单个目录容量或者目录下的子目录和文件数量过大,出现超额计费的问题,您可以使用目录配额功能。 配额说明 容量配额:目录下(包括子目录和文件)使用空间总和的上限。如果超过容量配额,则在该目录下创建文件或者子目录会失败。

查询用量情况 2025-04-21 18:15

通过OSS管理控制台查询某个Bucket下OSS-HDFS服务的用量情况,不作为计量数据,仅供参考。 操作步骤 登录

Snapshot(通过快照备份和恢复数据) 2025-04-21 18:15

当您希望对OSS-HDFS服务的数据进行备份,在数据发生错误、被误删除时,将数据恢复至可用状态,您可以使用Snapshot命令创建快照。OSS-HDFS服务的快照功能与HDFS的快照功能完全兼容,同时支持目录层级操作。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号