Spark Row实例化与重载类型提示不符及字段识别逻辑疑问

问题背景 #

Spark的Row类没有定义__init__方法，其__new__方法有如下类型重载提示：

@overload
def __new__(cls, *args: str) -> "Row"

@overload
def __new__(cls, **kwargs: Any) -> "Row"

def __new__(cls, *args: Optional[str], **kwargs: Optional[Any]) -> "Row"

但官方文档给出的实例化示例里，存在看似不符合类型提示的调用：

>>> Person = Row("name", "age")
>>> row1 = Row("Alice", 11) # 此调用的参数包含非字符串，不符合第一个重载的类型要求
>>> row2 = Row(name="Alice", age=11)
>>> row1 == row2
True

这里的矛盾点在于：Row("Alice",11)用了*args传参，但第一个重载要求所有*args都是字符串，可实际运行却没有报错；同时同样用*args的Row("name","age")是用来定义字段名，而Row("Alice",11)是直接传值，逻辑完全不同，需要解释背后的原理。

核心原理解析 #

1. 类型提示不约束运行时行为 #

Python的类型提示（包括@overload）只是给静态类型检查工具（比如mypy）用的，不影响代码的实际运行。Row的__new__方法的重载提示是为了规范常见的使用场景，但Python作为动态类型语言，运行时不会校验参数是否严格符合类型提示，所以即使Row("Alice",11)的参数包含整数，依然能正常执行。

2. Row.__new__的动态逻辑区分 #

Row类的__new__方法内部做了动态判断，会根据传入参数的情况执行不同逻辑：

• 当传入的*args全部是字符串时：返回一个Row的子类，这个子类绑定了传入的字符串作为字段名（比如示例中的Person），后续用这个子类实例化时，会按照绑定的字段名赋值；
• 当传入的*args包含非字符串类型，或者传入了**kwargs时：直接创建一个Row实例。如果是*args传值，实例的字段名默认是_1、_2、...；如果是**kwargs传值，字段名就是关键字参数的key。

而示例中row1 == row2返回True，是因为Row的相等判断是按值的顺序来匹配的，不管字段名是什么，只要对应位置的值一致就视为相等。

3. 重载提示的设计局限 #

那两个@overload只是覆盖了两种最常用的场景：

• 用全字符串*args创建带字段名的Row子类；
• 用**kwargs创建带命名字段的Row实例；
  而实际的__new__签名用了更宽松的Optional[str]和Optional[Any]来兼容所有参数情况，只是重载提示没有覆盖*args包含非字符串的场景，属于类型提示的不完整，并非代码运行时的错误。

内容的提问来源于stack exchange，提问作者user2153235