Spark中列名后带#数字的标识含义是什么？

这些带#后缀的数字是Spark内部为每个列分配的唯一标识符（Attribute ID），核心作用是在查询执行的全流程中精准区分不同的列实例，具体细节如下：

• 生成逻辑：每当Spark创建一个列（比如通过createDataFrame初始化DataFrame、读取外部数据源、或者通过转换操作生成新列），都会给这个列分配一个全局递增的整数ID，通常从0开始按创建顺序依次赋值。你例子里的c1#0、c2#1、c1#4、c3#5就是按照列的创建顺序生成的ID。
• 核心作用：解决同名列的歧义问题。像你示例中两个DataFrame都有c1列，Spark通过不同的ID（#0和#4）来标记它们属于不同的数据源实例，确保在Join、Union等操作中，执行计划能准确识别要操作的目标列，不会出现混淆。
• 生命周期：这个ID会伴随列的整个查询生命周期，从逻辑计划生成、优化到物理计划执行全程保留，但它仅存在于Spark内部的元数据中，不会影响最终查询输出的列名。

结合你的示例来看：

• df1初始化时，c1被分配ID 0（即c1#0），c2被分配ID 1（即c2#1）
• df2初始化时，c1被分配ID 4（即c1#4），c3被分配ID 5（即c3#5）
• 在SortMergeJoin操作中，Spark通过这些ID明确指定了关联的是df1的c1#0和df2的c1#4，避免了同名列的冲突。

内容的提问来源于stack exchange，提问作者Dhruv