如何判断Polars中的LazyFrame是否为空？

你当前的实现需要触发collect()且计算逻辑相对繁琐，这里提供两种更高效的实现方式，既可以避免不必要的计算，也能大幅降低内存占用：

方法一：通过计算总行数判断 #

直接统计LazyFrame的总行数，仅collect单个数值结果，内存开销可以忽略：

import polars as pl

def is_empty(data: pl.LazyFrame) -> bool:
    return data.select(pl.count()).collect().item() == 0

原理说明 #

pl.count()会直接统计数据集的总行数，配合select()得到仅包含行数的单列DataFrame，collect().item()取出数值后判断是否为0即可。这种方式比你原方法中计算每列空值再求和的逻辑更直接高效。

方法二：通过获取单行数据判断 #

利用fetch(1)仅尝试获取一行数据，判断返回结果是否为空，同样无需加载全量数据：

def is_empty(data: pl.LazyFrame) -> bool:
    return len(data.fetch(1)) == 0

原理说明 #

fetch(1)只会从LazyFrame中获取最多一行数据，若原数据集为空，返回的DataFrame长度自然为0。该操作的内存占用极低，因为最多仅加载一行数据。

测试验证 #

两种方法都能正确处理两种空数据场景：

# 无列的空LazyFrame
lf1 = pl.LazyFrame()
print(is_empty(lf1))  # 输出: True

# 有列但无数据行的LazyFrame
lf2 = pl.LazyFrame({"a": [], "b": []})
print(is_empty(lf2))  # 输出: True

# 正常有数据的LazyFrame
lf3 = pl.LazyFrame({"a": [1, 2, 3]})
print(is_empty(lf3))  # 输出: False

对比原实现的优势 #

• 避免了null_count()+sum_horizontal()的冗余计算，逻辑更简洁
• 仅collect单个数值或一行数据，内存占用远低于收集全量空值统计结果
• 两种方法均能覆盖所有空数据场景，结果准确可靠

内容的提问来源于stack exchange，提问作者Laurent