PySpark中从数组内Row对象中提取第n个元素的实现方法

嘿，这问题不难搞定！先看你的数据结构：外层是一个列表，里面嵌套着Row对象的列表，我们需要把每个Row的第三个元素（也就是c字段的值）提取出来，得到['3', '6']。下面给你几种实用的方法：

方法1：基于Python列表推导式（适合已转Pandas的场景） #

如果已经通过toPandas()拿到了类似[[Row(a='1', b='2', c='3'), Row(a='4', b='5', c='6')]]的结构，直接用列表推导式就能搞定：

# 假设你的数据存在变量data中
data = [[Row(a='1', b='2', c='3'), Row(a='4', b='5', c='6')]]

# 先取出内层的Row列表，再遍历每个Row提取c属性
result = [row.c for row in data[0]]
print(result)  # 输出: ['3', '6']

如果不想依赖字段名，也可以用索引访问（Row对象支持按位置索引，第三个元素的索引是2，从0开始计数）：

result = [row[2] for row in data[0]]
print(result)  # 同样得到 ['3', '6']

方法2：直接在PySpark中处理（更高效，无需转Pandas） #

如果数据量较大，不建议转成Pandas处理（容易内存溢出），可以直接用PySpark的内置函数操作。假设你的DataFrame中有一列名为row_list，存储的是Row对象的列表，用transform函数就能批量提取：

from pyspark.sql import functions as F

# 假设你的DataFrame叫df
df = df.withColumn(
    'extracted_c_values',
    F.transform('row_list', lambda row: row['c'])
)

执行后，新列extracted_c_values就会包含你想要的['3', '6']这样的列表。

内容的提问来源于stack exchange，提问作者jynn