使用PySpark实现表格性别列按男女交替格式排列的方法咨询

• 先给不同性别的员工分别生成组内独立行号，组内可以按姓名、薪资等你需要的规则排序
• 全局排序时优先按行号排序，同序号的行设置男性排在女性前面，自然就能得到M、F交替的展示效果
• 如果某个性别的员工数量更多，多出来的员工会自动排在末尾，不会打乱前面的交替逻辑

from pyspark.sql.window import Window
import pyspark.sql.functions as F

# 假设你已经读取源数据到df变量中，读取逻辑自行替换
# 第一步：清理Sex字段的前后空格，避免因为空格导致分组错误
df = df.withColumn("Sex", F.trim(F.col("Sex")))

# 第二步：定义窗口，按性别分区，分区内按员工姓名升序排序，生成组内行号
win = Window.partitionBy("Sex").orderBy("Employee_Name")
df_with_rn = df.withColumn("rn", F.row_number().over(win))

# 第三步：全局排序+选取需要的字段，同序号下男性排在前
result_df = df_with_rn.orderBy(
    "rn",
    F.when(F.col("Sex") == "M", 0).otherwise(1)
).select(
    F.col("Sex"),
    F.col("Employee_Name").alias("EMpName")
)

# 输出结果
result_df.show()

• 窗口函数row_number()：对分组内的行生成唯一连续序号，这里按性别分组，保证男性、女性的序号各自独立计数
• 多字段排序规则：优先对齐同序号的男女员工，再控制性别顺序，实现交替展示
• trim()函数：清除字符串字段前后的空白字符，避免源数据中Sex字段的空格影响分组、判断逻辑

内容的提问来源于stack exchange，提问作者MashedPotoatoes