您可以通过OSS SDK接入多种开源生态。
开源生态 | 说明 |
使用Hadoop或者Hive访问OSS | 此系列文档由开源软件Apache社区提供。 |
使用Flink访问OSS | |
将HBase快照保存在OSS | |
将Kafka数据导入OSS | 此系列文档由面向开源项目的托管平台GitHub提供。 |
使用Logstash将日志导入OSS | |
使用Fluentd访问OSS | |
使用Thanos访问OSS | 此文档由开源Thanos社区提供。 |
将Elasticsearch的快照备份至OSS | 此文档由开发者社区提供。 |
通过CDH5 Hadoop读取和写入OSS数据 | 通过配置CDH5实现读写OSS数据。 |
Spark使用OSS Select加速数据查询 | 通过CDH集成Spark与OSS存储服务，加速数据查询。 |
Apache Impala（CDH6）查询OSS数据 | 通过配置CDH6环境下的Hadoop、Hive、Spark、Impala等组件，以实现对接OSS进行数据查询操作。 |
通过HDP 2.6 Hadoop读取和写入OSS数据 | 通过配置HDP 2.6实现读写OSS数据。 |
您可以通过OSS SDK接入多种开源生态。 <
开源Flink不支持流式写入OSS-HDFS服务，也不支持以EXACTLY_ONCE语义写入存储介质。当您希望开源Flink以EXACTLY_ONCE语义流式写入OSS-HDFS服务，需要结合JindoSDK。
Apache Flume是一个分布式、可靠和高可用的系统，用于从大量不同的数据源有效地收集、聚合和移动大量日志数据，进行集中式的数据存储。Flume通过调用flush()保证事务性写入，并通过JindoSDK写入OSS-HDFS服务，确保flush后的数据立刻可见，保证数据不丢失。 前提条件
OSS-HDFS服务是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。本文介绍Hadoop如何通过JindoSDK访问OSS-HDFS服务。 前提条件
HBase是Hadoop生态中的实时数据库，有较高的写入性能。 OSS-HDFS服务是阿里云新推出的存储空间类型，并兼容HDFS接口。JindoSDK支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。相对于本地HDFS存储，OSS-HDFS服务使用更加灵
使用Hive搭建离线数仓时，随着数据量的不断增长，传统的基于HDFS存储的数仓可能无法以较低成本满足用户的需求。在这种情况下，您可以使用OSS-HDFS服务作为Hive数仓的底层存储，并通过JindoSDK获得更好的读写性能。 前提条件
