赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 对象存储
  4. 开发参考
  5. 常用工具
  6. ossfs 1.0
  7. 最佳实践
  8. 提升ls命令文件列出速度

提升ls命令文件列出速度

  • 最佳实践
  • 发布于 2025-04-21
  • 0 次阅读
文档编辑
文档编辑

当您将包含多个文件和目录的Bucket挂载到本地时,可以通过优化挂载参数来显著提高使用ls命令列出文件的速度。

前提条件

  • 已创建Bucket。

  • 已安装ossfs。

适用场景

  1. Bucket目录下存在大量文件或文件夹。

  2. Bucket内不包含任何软链接文件,且不打算使用软链接功能。此外,对文件的用户ID(uid)、组ID(gid)等元数据信息没有特殊要求。

  3. 在对元数据一致性要求不高的场景中,例如模型训练或推理时,数据集文件基本上不会发生更改。

参数说明

选项名称

描述

max_stat_cache_size

控制是否启用元数据缓存和缓存的大小,1.91.x版本默认值为100,000,约占用内存40 MB。之前的版本默认为1,000。请根据OSS中被频繁访问的对象数量进行配置,在内存充足时,建议配置足够大的值,以有效提升操作体验,例如1,000,000。

  • 若设置为0,则表示禁用元数据缓存。一般不建议这样做,因为这会增加大量OSS元数据请求,从而影响性能。

    说明

    如果您希望在读、写文件时获取最新的元数据,您也可以不设置该参数。ossfs在处理POSIX语义的open请求时会自动获取最新的元数据。

    如果设为0后,要进行高频读写,ossfs的HeadObj请求数量可能会远超读写请求,恢复默认值(100000)后,HeadObj请求数量下降到大致和读写请求相当,性能大幅优化。

  • 若设置为xx且xx大于0,则表示设置元数据缓存大小为xx。

readdir_optimize

控制是否使用缓存优化,默认为false,即不使用。添加该挂载选项后ossfs在ls时不会执行HeadObject去获取文件项元数据(如gid、uid等)。根据应用程序特性选择。但是因为权限检查等原因仍然可能产生一定量的HeadObject请求。

stat_cache_expire

控制是否启用元数据缓存的过期淘汰策略以及调整缓存的过期时间(秒)。默认为900,即过期时间为15分钟。

  • 若设置为-1,则表示关闭缓存的过期淘汰策略。除非数据挂载后不会进行任何更新,不建议关闭淘汰策略。

  • 若设置为xx且xx大于0,则表示设置缓存的过期时间为xx。

挂载示例

  • 场景1:Bucket目录下存在大量文件或文件夹。

    挂载名为mybucket的OSS存储桶到本地/mnt/oss目录,开启元数据缓存并设置缓存空间为1000000约占内存400 MB。

    ossfs mybucket /mnt/oss -ourl=http://oss-cn-****.aliyuncs.com -omax_stat_cache_size=1000000 
  • 场景2:Bucket内不包含任何软链接文件,且不打算使用软链接功能。此外,对文件的用户ID(uid)、组ID(gid)等元数据信息没有特殊要求。

    挂载名为mybucket的OSS存储桶到本地/mnt/oss目录,在后续执行ls命令时,不会发送HeadObject请求来获取文件项的元数据(如gid、uid等)。

    ossfs mybucket /mnt/oss -ourl=http://oss-cn-****.aliyuncs.com -oreaddir_optimize
  • 场景3:对元数据一致性要求不高的场景,例如模型训练或推理时,数据集文件基本上不会发生更改。

    挂载名为mybucket的OSS存储桶到本地/mnt/oss目录,且关闭元数据缓存过期淘汰策略,将stat_cache_expire参数值设置为-1。您也可以设置一个较大的值,如72000,即20小时后缓存过期。

    ossfs mybucket /mnt/oss -ourl=http://oss-cn-****.aliyuncs.com -ostat_cache_expire=-1
相关文章

挂载点权限配置 2025-04-21 17:18

本文将为您介绍在使用ossfs挂载文件时,如何通过参数设定来配置用户对挂载点的访问权限。 前提条件 已开通OSS服务。

提升ls命令文件列出速度 2025-04-21 17:18

当您将包含多个文件和目录的Bucket挂载到本地时,可以通过优化挂载参数来显著提高使用ls命令列出文件的速度。 前提条件 已创建Bucket<

只读场景性能调优 2025-04-21 17:17

本文将为您详细介绍在只读场景中,如何借助参数选项有效提升ossfs的读取性能。 重要 以下内容适用于ossfs 1.91.3及以上版本。最新版ossfs的下载安装,请参见安

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号