• 开源Flink写入OSS-HDFS服务 2025-04-21 17:14

    开源Flink不支持流式写入OSS-HDFS服务，也不支持以EXACTLY_ONCE语义写入存储介质。当您希望开源Flink以EXACTLY_ONCE语义流式写入OSS-HDFS服务，需要结合JindoSDK。

  • Flume使用JindoSDK写入OSS-HDFS服务 2025-04-21 17:14

    Apache Flume是一个分布式、可靠和高可用的系统，用于从大量不同的数据源有效地收集、聚合和移动大量日志数据，进行集中式的数据存储。Flume通过调用flush()保证事务性写入，并通过JindoSDK写入OSS-HDFS服务，确保flush后的数据立刻可见，保证数据不丢失。 前提条件

  • Hadoop使用JindoSDK访问OSS-HDFS服务 2025-04-21 17:14

    OSS-HDFS服务是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。本文介绍Hadoop如何通过JindoSDK访问OSS-HDFS服务。 前提条件

  • HBase使用OSS-HDFS服务作为底层存储 2025-04-21 17:14

    HBase是Hadoop生态中的实时数据库，有较高的写入性能。 OSS-HDFS服务是阿里云新推出的存储空间类型，并兼容HDFS接口。JindoSDK支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。相对于本地HDFS存储，OSS-HDFS服务使用更加灵

  • Hive使用JindoSDK处理OSS-HDFS服务中的数据 2025-04-21 17:14

    使用Hive搭建离线数仓时，随着数据量的不断增长，传统的基于HDFS存储的数仓可能无法以较低成本满足用户的需求。在这种情况下，您可以使用OSS-HDFS服务作为Hive数仓的底层存储，并通过JindoSDK获得更好的读写性能。 前提条件

  • 常见问题 2025-04-21 17:14

    本文介绍通过JindoSDK接入OSS-HDFS服务的常见问题和解决方法。 如何关闭OSS-HDFS客户端INFO级别的日志？ 通过JindoSDK接入OSS-HDFS服务后，默认情况下会记录连接与操作日志、错误与异常日志，调试信息等详细日志。如果您希望关闭OSS-HDFS客户端INFO级别的日志，