在EMR上通过PySpark按表名查询Apache Hudi数据

问题根源 #

你将多个Hudi表写入同一存储路径的做法，违背了Hudi的设计原则——Hudi每个表应作为独立数据集存储，共享路径会导致不同表的元数据、数据文件混合，进而查询时返回所有表的数据。不过可以通过以下方法过滤出目标表的数据。

解决方案：利用Hudi内置元数字段过滤 #

Hudi会自动为每条记录添加_hoodie_table_name隐式字段，存储该记录所属的表名。你可以直接在查询时通过这个字段过滤：

# 替换your_target_table_name为你要查询的表名
snapshotQueryDF = spark.read \
    .format('org.apache.hudi') \
    .load('s3://DOC-EXAMPLE-BUCKET/myhudidataset/*/*') \
    .filter("_hoodie_table_name = 'your_target_table_name'")
    
snapshotQueryDF.show()

如果查询时看不到_hoodie_table_name字段，可尝试在读取时显式开启元数据字段：

snapshotQueryDF = spark.read \
    .format('org.apache.hudi') \
    .option('hoodie.datasource.read.incr.metadata.fields.enabled', 'true') \
    .load('s3://DOC-EXAMPLE-BUCKET/myhudidataset/*/*') \
    .filter("_hoodie_table_name = 'your_target_table_name'")

最佳实践建议 #

后续写入Hudi表时，建议为每个表分配独立的存储路径，例如：

• 表1路径：s3://DOC-EXAMPLE-BUCKET/myhudidataset/table1/
• 表2路径：s3://DOC-EXAMPLE-BUCKET/myhudidataset/table2/

这样查询时直接指定对应表的路径即可精准获取数据，避免混合存储带来的元数据混乱和查询效率问题。

内容的提问来源于stack exchange，提问作者Anurag A S