Pyspark将元组值按序填充重复行repeated列且不使用map/迭代器

完全可以仅修改原实现行重复逻辑的单行代码达成目标，全程无需使用map或任何迭代器类操作方法。

实现原理 #

原代码的核心逻辑是逐行生成固定长度为2的重复值数组，再通过explode拆分为独立行。按照原代码的执行顺序，最终输出的6条结果行和给定fill元组的元素顺序天然一一对应：

• 前2条输出行对应原表第一行Ashok的重复记录，匹配fill的前2个元素
• 中间2条输出行对应原表第二行Jai的重复记录，匹配fill的中间2个元素
• 最后2条输出行对应原表第三行Kin的重复记录，匹配fill的最后2个元素
  我们只需要把原来array_repeat(age, 2)生成的重复值数组，替换为和行顺序绑定的、对应分段的fill元素数组即可，全程使用PySpark内置的声明式SQL函数，不需要手动遍历或调用map类算子。

修改后的单行实现代码 #

fill = ('ABC', 'now', 'fix', 'hello', 'yes', 'no')
# 预先生成符合SQL语法的数组字符串
fill_sql_str = ", ".join(f"'{item}'" for item in fill)
# 仅在原代码的withColumn逻辑内修改，无额外算子
df.withColumn(
    'repeated',
    F.expr(f"explode(array_slice(array({fill_sql_str}), (row_number() over (order by 1) - 1) * 2, 2))")
).show()

代码逻辑说明 #

• 直接将fill元组转换为Spark可识别的SQL数组字面量，无隐式迭代
• 通过内置窗口函数row_number()为每一行原数据生成从1开始的连续序号，无手动循环
• 用内置array_slice()函数按行号计算切片偏移量：每行进数组的起始位置为(行号-1)*2，固定取2个长度的元素，刚好匹配对应分段的fill值
• 后续的explode拆分逻辑和原代码完全一致，保证原表重复行的结构不发生变化

注意事项 #

Spark默认不保证无排序时的原表物理顺序，示例中窗口函数使用order by 1是为了匹配给定样例的行顺序；如果实际场景有固定的业务排序字段，替换order by后的字段名即可保证切片顺序正确，全程无任何map、迭代类操作。 #

内容的提问来源于stack exchange，提问作者Jeyakumar Kasi