关于Flink+Hudi中index.global.enabled与跨分区键唯一性的问询

我正在使用Apache Flink（Flink SQL）管理Hudi表，了解到Hudi支持多种索引类型，包括：BLOOM、GLOBAL_BLOOM、SIMPLE、GLOBAL_SIMPLE、HBASE、INMEMORY、BUCKET、RECORD_INDEX。但Flink仅支持以下两种索引类型：

• FLINK_STATE：基于内存状态的索引。
• BUCKET：基于桶的索引，支持SIMPLE和CONSISTENT_HASHING两种引擎类型。

此外，我发现配置项index.global.enabled，其说明为：当出现相同键但不同分区路径的记录时，是否更新旧分区路径的索引，默认值为true。

1. 当配置项index.global.enabled设为true（默认值）时，是否无论使用哪种索引类型，Flink都会在所有分区间强制键唯一性？

• 查阅了Hudi官方文档中关于索引类型和Flink配置的内容。
• 使用Flink SQL测试了写入和删除记录，但仍不清楚键唯一性是在分区内还是跨分区生效。
• 测试删除操作时观察到的行为似乎与index.global.enabled设置不一致，创建表的SQL语句如下：

CREATE TABLE test120.test_bucket_index4 (
    order_id STRING,
    item STRING,
    price DOUBLE,
    ts STRING,
    primary key (order_id) NOT ENFORCED
)
PARTITIONED BY (ts)
WITH (
    'connector' = 'hudi',
    'path' = 'hdfs://xxx/native-flink-test/flink-data/hudi/test_bucket_index4',
    'table.type' = 'MERGE_ON_READ',
    'index.type' = 'BUCKET',
    'index.global.enabled' = 'true',
    'hoodie.index.bucket.engine' = 'SIMPLE',
    'hoodie.bucket.index.num.buckets' = '2',
    'hoodie.bucket.index.hash.field' = 'order_id',
    'hoodie.datasource.write.recordkey.field' = 'order_id',
    'precombine.field' = 'price',
    'write.tasks' = '1',
    'hive_sync.enable' = 'true',
    'hive_sync.mode' = 'hms',
    'hive_sync.db' = 'test120',
    'hive_sync.table' = 'test_bucket_index4',
    'hive_sync.metastore.catalog.default' = 'ctgxxxxxxxxxxx',
    'hive_sync.metastore.uris' = 'thrift://xx.xx.xx.x:9083',
    'hive_sync.partition_fields' = 'ts',
    'hoodie.datasource.write.hive_style_partitioning' = 'true',
    'hive_sync.partition_extractor_class' = 'org.apache.hudi.hive.HiveStylePartitionValueExtractor',
    'compaction.tasks' = '1', 
    'compaction.async.enabled' = 'false', 
    'compaction.trigger.strategy' = 'num_commits', 
    'compaction.delta_commits' = '1'
);

• Flink: 1.16
• Hudi: 0.14.1

核心结论 #

index.global.enabled=true的作用是让Hudi能够跨分区定位同recordKey的旧记录，从而保证最终数据全局范围内的recordKey唯一性，这一逻辑对Flink支持的两种索引类型（FLINK_STATE、BUCKET）均生效，但并非"强制"唯一性，而是通过索引的全局映射来实现合并/更新旧记录的语义。

分索引类型详细说明 #

1. FLINK_STATE索引

   • 当index.global.enabled=true时，Flink的状态后端会维护全局的recordKey -> 分区路径映射关系。当同一条recordKey出现在新分区时，Hudi会通过该映射找到旧分区的记录，执行更新/删除操作，最终全局范围内不会存在重复的recordKey。
   • 若设为false，则仅在当前写入的分区内查找同recordKey的记录，会导致同recordKey的记录在不同分区共存，破坏全局唯一性。

2. BUCKET索引

   • 无论使用SIMPLE还是CONSISTENT_HASHING引擎，index.global.enabled=true都会让Hudi维护全局的桶索引元数据。当同recordKey的记录写入新分区时，Hudi会通过全局索引定位到旧分区对应的桶，找到旧记录并处理。
   • 即使Bucket索引是基于recordKey哈希分桶（如你的测试中hoodie.bucket.index.hash.field='order_id'），同recordKey会被映射到同一桶，但分区不同时，仍需全局索引的支持才能跨分区关联旧记录，保证唯一性。

关于测试行为不一致的可能原因 #

你的测试使用了MERGE_ON_READ类型的表，这种表的更新/删除操作会先写入增量日志，需等待compaction完成后才会合并到列式存储层。如果测试时未等待compaction触发或完成，查询到的可能是未合并的中间状态，看起来与配置预期不符。可以手动触发compaction后再验证结果。

内容的提问来源于stack exchange，提问作者wancrin potter