如何在PySpark中遍历Row对象的所有值？

在PySpark中，当Row对象包含多个同名字段（比如多个timeStamp）时，直接通过row.timeStamp或row['timeStamp']取值只能获取第一个匹配的字段值——这是因为Row的键访问逻辑类似字典，重复键会导致仅返回首个匹配项。要提取所有同名字段的值，需通过索引遍历或转换为元组的方式操作：

方法1：将Row转换为元组遍历 #

Row对象可直接转为元组，按顺序获取所有字段值，无需依赖字段名：

# 获取目标Row对象
row = timeStamp_df.head()
# 转换为元组
row_tuple = tuple(row)
# 遍历所有值，筛选时间戳（若确认所有字段都是timeStamp可直接遍历）
for idx, ts_value in enumerate(row_tuple):
    print(f"第{idx+1}个时间戳: {ts_value}")

方法2：结合字段名列表与索引取值 #

通过Row的__fields__属性获取完整字段名列表（包含重复项），再通过索引定位同名字段：

row = timeStamp_df.head()
# 获取含重复字段名的列表
all_fields = row.__fields__
# 筛选出所有timeStamp字段对应的值
all_ts_values = [row[idx] for idx, field_name in enumerate(all_fields) if field_name == 'timeStamp']
print("所有时间戳值:", all_ts_values)

生成表格形式输出 #

如果需要将所有行的timeStamp值整理成表格，可按以下方式实现：

# 收集所有行的时间戳值
all_rows_ts = []
for row in timeStamp_df.collect():
    fields = row.__fields__
    ts_list = [row[i] for i, name in enumerate(fields) if name == 'timeStamp']
    all_rows_ts.append(ts_list)

# 打印Markdown格式表格
print("| 行序号 | 时间戳1 | 时间戳2 | 时间戳3 |")
print("|--------|---------|---------|---------|")
for row_num, ts_values in enumerate(all_rows_ts, start=1):
    # 自动填充缺失项，避免表格格式错乱
    padded_ts = ts_values + ["-"]*(3 - len(ts_values))
    print(f"| {row_num} | {padded_ts[0]} | {padded_ts[1]} | {padded_ts[2]} |")

额外建议 #

避免在PySpark DataFrame中使用同名字段，这会导致数据访问歧义。建议提前通过withColumnRenamed重命名字段，从根源上解决问题：

# 重命名示例（假设原DataFrame有3个同名timeStamp字段）
renamed_df = timeStamp_df \
    .withColumnRenamed("timeStamp", "timeStamp_1") \
    .withColumnRenamed("timeStamp", "timeStamp_2") \
    .withColumnRenamed("timeStamp", "timeStamp_3")

内容的提问来源于stack exchange，提问作者AB21