如何解决PySpark DataFrame的mypy错误‘Row | None类型不可索引’

问题原因：DataFrame.first()方法的返回类型是Row | None，直接对其使用[0]索引时，mypy无法确认结果不为None，因此抛出"Value of type 'Row | None' is not indexable"错误。

下面提供两种可行的解决方式：

方式1：添加空值校验（推荐） #

先检查first()的返回结果是否为None，处理空DataFrame的边界情况，同时让mypy确认后续使用的是Row类型：

from pyspark.sql import DataFrame, Row
from pyspark.sql import functions as f

def somefunction(df: DataFrame, column_name: str) -> DataFrame:
    min_row = df.select(f.min(f.col(column_name))).first()
    if min_row is None:
        raise ValueError("输入的DataFrame为空，无法获取最小值")
    x = min_row[0]
    return df.withColumn('newcolumn', f.col(column_name) + x)

这种方式既通过了mypy的类型校验，又避免了运行时可能出现的None索引错误。

方式2：使用类型断言（仅适用于确定DataFrame非空的场景） #

如果你能保证输入的DataFrame一定包含数据，不会出现first()返回None的情况，可以用cast明确告知mypy返回的是Row类型：

from pyspark.sql import DataFrame, Row
from pyspark.sql import functions as f
from typing import cast

def somefunction(df: DataFrame, column_name: str) -> DataFrame:
    min_row = cast(Row, df.select(f.min(f.col(column_name))).first())
    x = min_row[0]
    return df.withColumn('newcolumn', f.col(column_name) + x)

注意：这种方法没有处理空值情况，若运行时first()返回None，会触发TypeError，需谨慎使用。

内容的提问来源于stack exchange，提问作者viwi