实时计算Flink读写OSS或者OSS-HDFS

前提条件

• 已开通Flink全托管。具体操作，请参见开通实时计算Flink版。

  开通Flink全托管后，Flink全托管页签将在5~10分钟内显示已创建完成的工作空间。

• 已创建SQL作业。

  创建SQL作业时，Flink计算引擎需选择VVR 8.0.1及以上版本。具体操作，请参见新建作业。

使用限制

• 仅支持读写相同账号下的OSS或者OSS-HDFS服务的数据。

• 对于写入OSS的场景，暂不支持写Avro、CSV、JSON和Raw此类行存的格式，具体原因请参见FLINK-30635。

操作步骤

1. 进入SQL作业创建页面。

   1. 登录实时计算控制台。

   2. 单击目标工作空间操作列下的控制台。

   3. 在左侧导航栏，单击数据开发 > ETL。

2. 在SQL作业编辑区域，编写DDL和DML代码。

   将srcbucket中的dir路径下的源表数据写入destbucket的test路径下的结果表。

   说明

   如果您希望通过以下代码读取OSS-HDFS的数据，请确保srcbucket以及destbucket已开通OSS-HDFS服务。

   CREATE TEMPORARY TABLE source_table (
    `file.name` STRING NOT NULL,
    `file.path` STRING NOT NULL METADATA
   ) WITH (
     'connector'='filesystem',
     'path'='oss://srcbucket/dir/',
     'format'='parquet'
   );
   
   CREATE TEMPORARY TABLE target_table(
    `name` STRING,
    `path` STRING 
   ) with (
     'connector'='filesystem',
     'path'='oss://destbucket/test/',
     'format'='parquet'
   );
   
   INSERT INTO target_table SELECT * FROM source_table ;

   关于源表支持的元数据列（例如file.path、file.name等）以及WITH参数的具体用法，请参见对象存储OSS连接器。

3. 单击保存。

4. 单击深度检查。

   深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。

5. 单击部署。

   完成作业开发和深度检查后，即可部署作业，将数据发布至生产环境。

6. （可选）仅当您需要读取OSS-HDFS服务的数据时，执行此步骤。

   单击作业，在部署详情页签下的运行参数配置区域，按以下说明配置OSS-HDFS服务访问密钥以及Endpoint等信息，然后单击保存。

   fs.oss.jindo.buckets: srcbucket;destbucket
   fs.oss.jindo.accessKeyId: LTAI**************** 
   fs.oss.jindo.accessKeySecret: yourAccessKeySecret
   fs.oss.jindo.endpoint: cn-hangzhou.oss-dls.aliyuncs.com

   各配置项说明如下：

   配置项	说明
   fs.oss.jindo.buckets	填写待读取源表数据所在的Bucket名称以及待写入结果表数据所在的Bucket名称。Bucket名称之间以分号分隔，例如srcbucket;destbucket。
   fs.oss.jindo.accessKeyId	阿里云账号或者RAM用户的AccessKey ID。获取方法请参见查看RAM用户的AccessKey信息。
   fs.oss.jindo.accessKeySecret	阿里云账号或者RAM用户的AccessKey Secret。获取方法请参见查看RAM用户的AccessKey信息。
   fs.oss.jindo.endpoint	OSS-HDFS服务的Endpoint，例如cn-hangzhou.oss-dls.aliyuncs.com。

7. 在作业运维页面，单击启动，等待作业进入运行中状态。

8. 通过指定的OSS或者OSS-HDFS结果表存储路径path查看写入的数据。

   写入OSS时，您可以通过OSS控制台文件列表下的OSS页签查看写入的数据。写入OSS-HDFS时，您可以通过OSS控制台文件列表下的HDFS页签查看写入的数据。