Spark Streaming读取GCS分区数据时如何获取分区列？

核心问题分析 #

你写入流数据用的是Parquet格式分区存储，但读取时错误使用了json格式解析，这直接导致Spark无法识别Parquet文件的结构，自然读不到分区列team；另外路径配置也需要匹配分区数据的存储结构。

修正后的读取代码 #

首先要把读取格式改成和写入一致的Parquet，同时正确配置路径：

# 替换为你实际的GCS存储桶根路径，比如'gs://your-bucket/stream-output'
df = spark.readStream \
    .format('parquet') \
    .option('basePath', 'gs://your-bucket/stream-output') \
    .load('gs://your-bucket/stream-output')

如果需要指定子目录范围，也可以这么写：

df = spark.readStream \
    .format('parquet') \
    .option('basePath', 'gs://your-bucket/stream-output') \
    .load('gs://your-bucket/stream-output/team=*')

关键注意点 #

• 读写格式必须严格一致：写入用parquet，读取就不能用json，否则文件解析逻辑完全不匹配。
• Spark会自动从分区目录的命名（比如team=team1/）中提取分区列，不需要手动添加列定义。
• 写入时的path要指定具体的根目录（比如gs://your-bucket/stream-output），不要只写gs://，否则分区目录会直接存在于存储桶根目录，容易引发路径识别问题。

内容的提问来源于stack exchange，提问作者merkle