最近更新时间:2023.01.19 17:28:52
首次发布时间:2023.01.19 17:28:52
本文为您介绍 Spark 平台支持的 Connector,以及 Formats。
连接器 | 描述 | 源表 | 结果表 | 维表 |
---|---|---|---|---|
filesystem | 提供对常见的文件系统的读写能力。 | ✅ | ✅ | ❌ |
jdbc | 提供对 MySQL、PostgreSQL 等常见的关系型数据库的读写能力,以及支持维表。 | ✅ | ✅ | ✅ |
Iceberg | 基于企业增强版 Iceberg+upsert 能力,提供对 Iceberg 表的读写能力。 | ✅ | ✅ | ❌ |
Delta | 提供了对存储中间层 Delta Lake 的读写能力。 | ✅ | ✅ | ❌ |
Hive | 提供了对 Hive 表的读写能力。 | ✅ | ✅ | ❌ |
ES | 提供了对 Elasticsearch 数据分析引擎的写入能力。 | ❌ | ✅ | ❌ |
Hudi | Hudi 支持开源最新版本(stable),提供对 hudi 的读写能力。 | ✅ | ✅ | ❌ |
Redis | 提供了对 Redis 缓存数据库的写入能力。 | ❌ | ✅ | ✅ |
Doris | 提供了 Doris 数据库的读写数据的能力 | ✅ | ✅ | ❌ |
Format | 是否支持 |
---|---|
avro | ✅ |
csv | ✅ |
json | ✅ |
orc | ✅ |
text | ✅ |
parquet | ✅ |