Spark Scala Dataset API中UUID()函数位置及Python API相关问询

Scala Dataset API 原生支持情况 #

• 目前没有原生的uuid()方法直接暴露在Dataset API的核心类（比如Column）或者org.apache.spark.sql.functions工具类中。
• 可行替代方案：正如你已经用到的expr("uuid()")，也可以通过callUDF("uuid")来调用这个内置SQL函数，两种方式都能生成UUID值。
• 技术原因：Spark的内置SQL函数与Dataset API的函数并非一一对应。一方面，uuid()这类函数的使用频率相对低于聚合、字符串处理等常用函数，Spark团队优先覆盖高频场景的API；另一方面，SQL函数基于表达式解析逻辑实现，而Dataset API的函数是强类型的Scala方法，为所有SQL函数维护对应的API会大幅增加框架的维护成本，因此只选择性地暴露了部分常用函数。

Python API 支持情况 #

• 同样没有在pyspark.sql.functions模块中提供直接的uuid()函数。
• 替代方案：和Scala一致，使用expr("uuid()")或者callUDF("uuid")即可调用内置的UUID生成逻辑。如果需要自定义实现，也可以编写Python UDF生成UUID，但性能上不如直接调用Spark内置SQL函数高效。

内容的提问来源于stack exchange，提问作者YFl