如何按名称对未绑定DataFrame的PySpark Column列表排序？

要实现未绑定DataFrame的PySpark Column列表按显示名称（含别名）排序，核心是正确获取Column的最终名称字符串，以下是可行方案：

获取Column显示名称的函数 #

PySpark Column对象的底层Java实例（_jc）提供了获取别名和原始表达式的方法，通过它可以准确提取最终显示名称：

def get_column_name(col):
    # 优先获取别名
    alias = col._jc.alias()
    if alias:
        return alias
    # 无别名时返回原始列名
    return col._jc.expr().toString()

排序实现 #

将上述函数作为sorted的key参数，即可实现按名称排序：

def test_col_sorting():
    from pyspark.sql import SparkSession
    import pyspark.sql.functions as f

    spark = SparkSession.builder.getOrCreate()

    def get_column_name(col):
        alias = col._jc.alias()
        return alias if alias else col._jc.expr().toString()

    # 待排序的Column列表
    cols = [f.col('c'), f.col('a'), f.col('b').alias('z')]
    # 按名称排序
    result = sorted(cols, key=get_column_name)

    # 验证排序结果
    assert [get_column_name(c) for c in result] == ['a', 'c', 'z']
    assert result == [f.col('a'), f.col('c'), f.col('b').alias('z')]

为什么之前的尝试失败 #

• 直接调用sorted(cols)会尝试比较Column对象，PySpark不支持Column的直接布尔比较，因此抛出ValueError。
• col.name()返回的是Column对象而非字符串，无法作为排序的key值使用。

内容的提问来源于stack exchange，提问作者Brendan