如何在Python/PySpark中将Row类型列表转换为指定字符串

一、Python原生处理（直接操作Row列表） #

如果已经拿到[Row(column1='a,b,c,d')]这样的列表对象，直接通过索引访问列表第一个元素，再调用对应的列属性即可：

from pyspark.sql import Row

# 输入的Row列表
input_list = [Row(column1='a,b,c,d')]
# 提取目标字符串
target_str = input_list[0].column1

print(target_str)  # 输出：'a,b,c,d'

也可以通过下标访问列值（和属性访问等价）：

target_str = input_list[0][0]

二、PySpark环境下从DataFrame获取结果 #

如果这个Row列表是DataFrame调用collect()后的返回值，推荐用更高效的PySpark API直接提取（大数据场景下避免全量collect拉取数据到Driver）：

方法1：使用first()直接获取首行Row对象 #

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

# 示例DataFrame
df = spark.createDataFrame([('a,b,c,d',)], ['column1'])

# 提取字符串
target_str = df.first().column1

方法2：使用select()结合collect_list() #

# 收集指定列的所有值到列表，再取第一个元素
target_str = df.select("column1").collect_list()[0][0]

方法3：通过RDD的map()和first()提取 #

target_str = df.rdd.map(lambda row: row.column1).first()

内容的提问来源于stack exchange，提问作者Harshith K R