赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 对象存储
  4. 操作指南
  5. 数据湖管理
  6. OSS-HDFS服务
  7. 访问服务
  8. 通过Hadoop Shell命令访问

通过Hadoop Shell命令访问

  • 访问服务
  • 发布于 2025-04-21
  • 0 次阅读
文档编辑
文档编辑

如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作,您可以使用Hadoop Shell的方式。

环境准备

您可以选择以下任意一种方式访问OSS-HDFS服务。

  • 通过阿里云EMR访问OSS-HDFS服务,确保已创建EMR-3.46.2及以上版本或EMR-5.12.2及以上版本的集群。满足版本要求的EMR集群默认集成了OSS-HDFS服务。具体操作,请参见创建集群。

  • 通过非阿里云EMR访问OSS-HDFS服务,确保已安装和部署4.6.x及以上版本JindoSDK。具体操作,请参见在非EMR集群中部署JindoSDK。

相关命令及示例

通过Hadoop Shell命令访问OSS-HDFS服务的相关命令及示例如下。

  • 上传文件

    将本地根目录下的examplefile.txt文件上传至examplebucket,示例如下:

    hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
  • 新建目录

    在examplebucket下创建名为dir/的目录,示例如下:

    hdfs dfs -mkdir oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/dir/
  • 查看文件或目录信息

    查看examplebucket下的文件或目录信息,示例如下:

    hdfs dfs -ls oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
  • 获取文件或目录大小

    获取examplebucket下所有文件或目录的大小,示例如下:

    hdfs dfs -du oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
  • 查看文件内容

    查看examplebucket下名为localfile.txt的文件内容,示例如下:

    hdfs dfs -cat oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/localfile.txt
    重要

    查看文件内容时,文件内容将以纯文本形式打印到屏幕上。如果文件内容进行了特定格式的编码,请使用HDFS的Java API读取并解码文件内容。

  • 拷贝目录或文件

    例如,将examplebucket下根目录subdir1拷贝到目录subdir2下,且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变,示例如下:

    hdfs dfs -cp oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/subdir1  oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/subdir2/subdir1
  • 移动目录或文件

    例如,将examplebucket根目录srcdir及其包含的文件或者子目录移动至另一个根目录destdir下,示例如下:

    hdfs dfs -mv oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/srcdir  oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/destdir
  • 下载文件

    将examplebucket下的exampleobject.txt下载到本地根目录文件夹/tmp,示例如下:

    hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt  /tmp/
  • 删除目录或文件

    删除examplebucket下destfolder/目录及其目录下的所有文件,示例如下:

    hdfs dfs -rm -r oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/destfolder/

相关文章

通过OSS控制台访问 2025-04-21 18:15

本文介绍如何通过OSS控制台访问OSS-HDFS服务。 前提条件 已开通并授权访问OSS-HDFS服务。具体操作,请参见开通并授权访问OSS-HDFS服务。 操作步骤

通过Hadoop Shell命令访问 2025-04-21 18:15

如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作,您可以使用Hadoop Shell的方式。 环境准备 您可

通过Jindo CLI访问 2025-04-21 18:15

如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作时,您可以使用Jindo CLI的方式。 环境准备 您可以选择以下任意一种方式访问O

使用JindoFuse挂载访问 2025-04-21 18:15

如果您希望将OSS-HDFS服务映射为本地文件系统,并通过标准文件系统接口(如读、写、删除文件等)访问OSS-HDFS服务中的文件,可以使用JindoFuse挂载访问。JindoFuse是一个开源的、兼容POSIX的分布式文件系统访问工具,使AI应用程序可以直接使用OSS-HDFS服务。 前提条件

通过RootPolicy访问 2025-04-21 18:15

OSS-HDFS服务支持RootPolicy。您可以通过RootPolicy为OSS-HDFS服务设置自定义前缀,在无需修改原有访问hdfs://前缀作业的基础上,将作业直接运行在OSS-HDFS服务上。 前提条件

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号