赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 对象存储
  4. 实践教程
  5. 数据湖
  6. 开源生态
  7. 通过JindoSDK接入开源生态
  8. 开源Flink写入OSS-HDFS服务

开源Flink写入OSS-HDFS服务

  • 通过JindoSDK接入开源生态
  • 发布于 2025-04-21
  • 0 次阅读
文档编辑
文档编辑

开源Flink不支持流式写入OSS-HDFS服务,也不支持以EXACTLY_ONCE语义写入存储介质。当您希望开源Flink以EXACTLY_ONCE语义流式写入OSS-HDFS服务,需要结合JindoSDK。

说明

如果您不希望通过Flink流式写入OSS-HDFS服务前部署JindoSDK,您可以选择阿里云实时计算Flink完成OSS-HDFS服务读写需求。更多信息,请参见实时计算Flink读写OSS或者OSS-HDFS。

前提条件

  • 已创建ECS实例。具体步骤,请参见选购ECS实例。

  • 已开通并授权访问OSS-HDFS服务。具体操作,请参见开通并授权访问OSS-HDFS服务。

  • 已自行下载并安装开源版本Flink,且版本不低于1.10.1。Flink 1.16.0及更高版本的可用性尚未得到验证。关于Apache Flink的安装包及版本说明,请参见Apache Flink。

配置JindoSDK

  1. 登录已创建的ECS实例。具体操作,请参见连接ECS实例。

  2. 下载并解压最新版本JindoSDK JAR包。下载地址,请参见GitHub。。

  3. 将JindoSDK解压缩后的plugins/flink/目录下的jindo-flink-${version}-full.jar文件移动至Flink所在根目录下的lib文件夹。

    mv plugins/flink/jindo-flink-${version}-full.jar lib/
重要
  • 如果存在Apache Flink自带的Flink OSS Connector,需将其移除,即从Flink的lib目录或者plugins/oss-fs-hadoop路径下移除flink-oss-fs-hadoop-${flink-version}.jar。

  • JindoSDK配置完成后,无需额外配置即支持以常规Flink流式作业的方法进行使用。写入OSS-HDFS服务以及OSS服务须使用相同的前缀oss://,JindoSDK会自动识别写入的内容。

示例

  1. 通用配置

    为了支持EXACTLY_ONCE语义写入OSS-HDFS,您需要执行如下配置:

    1. 打开Flink的检查点(Checkpoint)。

      示例如下。

      1. 通过如下方式建立的StreamExecutionEnvironment。

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
      2. 执行如下命令,启动Checkpoint。

        env.enableCheckpointing(<userDefinedCheckpointInterval>, CheckpointingMode.EXACTLY_ONCE);
    2. 使用可以重发的数据源,例如Kafka。

  2. 便捷使用

    您无需额外引入依赖,只需携带oss://前缀的路径,并使用OSS-HDFS服务的Bucket及Endpoint,即可启用Flink。

    1. 添加Sink。

      以将DataStream<String>的对象OutputStream写入OSS-HDFS为例。

      String outputPath = "oss://<user-defined-oss-hdfs-bucket.oss-hdfs-endpoint>/<user-defined-dir>"
      StreamingFileSink<String> sink = StreamingFileSink.forRowFormat(
              new Path(outputPath),
              new SimpleStringEncoder<String>("UTF-8")
      ).build();
      outputStream.addSink(sink);
      重要

      在OSS-HDFS服务的Bucket中带有.<oss-hdfs-endpoint>的字段为可选项。如果您希望省略该字段,请确保已在Flink或Hadoop组件中正确配置了OSS-HDFS服务的Endpoint。

    2. 使用env.execute()执行Flink作业。

(可选)自定义配置

您在提交Flink作业时,可以自定义参数,以开启或控制特定功能。

例如,通过-yD配置以yarn-cluster模式提交Flink作业时,示例如下:

<flink_home>/bin/flink run -m yarn-cluster -yD key1=value1 -yD key2=value2 ...

您可以开启熵注入(Entropy Injection)功能。熵注入可以匹配写入路径的一段特定字符串,用一段随机的字符串进行替换,以削弱所谓片区效应,提高写入效率。

当写入场景为OSS-HDFS时,需要完成下列配置。

oss.entropy.key=<user-defined-key>
oss.entropy.length=<user-defined-length>

写入新文件时,路径中与<user-defined-key>相同的字符串会被替换为一个随机字符串,随机串的长度为<user-defined-length>,且<user-defined-length>必须大于零。

相关文章

开源Flink写入OSS-HDFS服务 2025-04-21 17:14

开源Flink不支持流式写入OSS-HDFS服务,也不支持以EXACTLY_ONCE语义写入存储介质。当您希望开源Flink以EXACTLY_ONCE语义流式写入OSS-HDFS服务,需要结合JindoSDK。

Flume使用JindoSDK写入OSS-HDFS服务 2025-04-21 17:14

Apache Flume是一个分布式、可靠和高可用的系统,用于从大量不同的数据源有效地收集、聚合和移动大量日志数据,进行集中式的数据存储。Flume通过调用flush()保证事务性写入,并通过JindoSDK写入OSS-HDFS服务,确保flush后的数据立刻可见,保证数据不丢失。 前提条件

Hadoop使用JindoSDK访问OSS-HDFS服务 2025-04-21 17:14

OSS-HDFS服务是一款云原生数据湖存储产品。基于统一的元数据管理能力,在完全兼容HDFS文件系统接口的同时,提供充分的POSIX能力支持,能更好地满足大数据和AI等领域的数据湖计算场景。本文介绍Hadoop如何通过JindoSDK访问OSS-HDFS服务。 前提条件

HBase使用OSS-HDFS服务作为底层存储 2025-04-21 17:14

HBase是Hadoop生态中的实时数据库,有较高的写入性能。 OSS-HDFS服务是阿里云新推出的存储空间类型,并兼容HDFS接口。JindoSDK支持HBase使用OSS-HDFS服务作为底层存储,同时支持存储WAL文件,实现存储与计算分离。相对于本地HDFS存储,OSS-HDFS服务使用更加灵

Hive使用JindoSDK处理OSS-HDFS服务中的数据 2025-04-21 17:14

使用Hive搭建离线数仓时,随着数据量的不断增长,传统的基于HDFS存储的数仓可能无法以较低成本满足用户的需求。在这种情况下,您可以使用OSS-HDFS服务作为Hive数仓的底层存储,并通过JindoSDK获得更好的读写性能。 前提条件

Impala使用JindoSDK查询OSS-HDFS服务中的数据 2025-04-21 17:14

JindoSDK是一个面向Hadoop、Spark生态且简单易用的OSS客户端,为OSS提供高度优化的Hadoop FileSystem实现。相对于Hadoop社区OSS客户端,Impala使用JindoSDK查询OSS-HDFS服务中的数据时,可以获得更好的性能。 前提条件

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号