Snowpark左反连接出现随机列名引发SQL编译错误求助

对比两个DataFrame以获取需插入增量表的新记录时，即使使用alias函数，输出DataFrame仍出现随机列名，导致SQL编译报错。

示例代码 #

main = session.table("source")
incremental = session.table("target")

new_customer = (incremental
        .join(main, incremental.customer_id==main.customer_id, "leftanti" )
        .select(main.customer_id.alias("customer_id"))
                        ).show()

报错信息 #

snowflake.snowpark.exceptions.SnowparkSQLException: 1304): 01acd0d6-3201-cee0-0000-6b1502059ff6: 000904 (42000): SQL compilation error: error line 1 at position 7
invalid identifier '"r_tu5s_customer_id"'.

Snowflake查询历史 #

SELECT "r_tu5s_customer_id" AS "customer_id" FROM ( SELECT  *  FROM ( SELECT "customer_id" .........

问题根源是Left Anti Join的特性：Left Anti Join仅保留左表（incremental）的字段，右表（main）的字段不会被包含在Join后的结果集中，因此后续select引用main.customer_id时，Snowpark会为这个不存在的字段生成随机别名，引发编译错误。

提供两种修正方案：

• 方案一：直接选择左表的customer_id（Left Anti Join已筛选出左表中不存在于右表的记录）

new_customer = (incremental
        .join(main, incremental.customer_id == main.customer_id, "leftanti")
        .select(incremental.customer_id.alias("customer_id"))
).show()

• 方案二：改用Left Join配合is null判断，再选择右表字段（适用于需要保留右表字段逻辑的场景）

new_customer = (incremental
        .join(main, incremental.customer_id == main.customer_id, "left")
        .filter(main.customer_id.is_null())
        .select(main.customer_id.alias("customer_id"))
).show()

内容的提问来源于stack exchange，提问作者Dametime