Python Dataclass仅返回单行数据？求Spark DataFrame转Dataclass方法

你的核心问题是：collect() 返回的是Spark Row对象的列表，而非单个Row，所以当前代码不仅无法处理多行数据，还会抛出属性错误。同时需要将DataFrame的每一行映射到你的Metadata数据类实例中，以下是几种简便实现方式：

方法1：直接遍历Row列表（小数据量场景） #

适合查询结果数据量不大的情况，直接将collect()得到的Row列表逐个转换为Metadata对象：

from dataclasses import dataclass
from pyspark.sql import SparkSession
from typing import List

@dataclass
class Metadata:
  col1: str
  col2: str
  col3: str

def retrieve_metadata(
    spark: SparkSession, batch_name: str, table_name: str,
) -> List[Metadata]:
    jdbc_url, connection_properties = fetch_db_config()
    # 替换硬编码的表名为传入参数table_name
    query = f"""(SELECT col1, col2, col3 FROM {table_name}) AS q"""
    
    df = query_jdbc_database(spark, query, jdbc_url, connection_properties)
    # 遍历每个Row，实例化Metadata
    return [Metadata(row.col1, row.col2, row.col3) for row in df.collect()]

# 调用示例
metadata_list = retrieve_metadata(spark, x, y)
for item in metadata_list:
    print(item)

如果Metadata字段名和查询返回的列名完全一致，还可以用字典解包简化代码：

return [Metadata(**row.asDict()) for row in df.collect()]

方法2：使用Spark映射操作（大数据量场景） #

如果查询结果数据量较大，直接collect()会将所有数据拉取到Driver节点，可能导致内存问题。此时可以用Spark的RDD/DataFrame映射操作，在Executor端完成转换后再收集结果：

from dataclasses import dataclass
from pyspark.sql import SparkSession
from typing import List

@dataclass
class Metadata:
  col1: str
  col2: str
  col3: str

def row_to_metadata(row) -> Metadata:
    # 也可以用Metadata(**row.asDict())简化
    return Metadata(row.col1, row.col2, row.col3)

def retrieve_metadata(
    spark: SparkSession, batch_name: str, table_name: str,
) -> List[Metadata]:
    jdbc_url, connection_properties = fetch_db_config()
    query = f"""(SELECT col1, col2, col3 FROM {table_name}) AS q"""
    
    df = query_jdbc_database(spark, query, jdbc_url, connection_properties)
    # 使用RDD映射转换，再收集结果
    metadata_list = df.rdd.map(row_to_metadata).collect()
    return metadata_list

关键注意点 #

1. 原代码中df_columns = ...collect()得到的是Row对象的列表，不是单个Row，直接访问.col1会抛出AttributeError；
2. SQL语句中的表名需要替换为传入的table_name参数，避免硬编码；
3. 函数返回类型需要从Metadata改为List[Metadata]，匹配多行数据的返回结果。

内容的提问来源于stack exchange，提问作者JVGBI