Foundry平台预览大型数据集时获取DataFrame准确总行数方法

你自定义的shape方法逻辑本身是正确的，预览时仅能统计10000行的问题和方法实现无关，是Foundry预览模式的采样机制导致的。

问题原因 #

Foundry代码仓库的预览模式为了提升调试速度、减少不必要的资源消耗，会在读取数据集阶段默认截断前10000行作为采样数据，你在这个采样后的DataFrame上调用count()，自然只能拿到采样后的行数，无法获取全量数据的真实规模。

落地实现方案 #

• 全量计算获取准确shape
  你之前写的动态挂载方法可以直接使用，只要避开预览采样的截断逻辑即可，完整可运行示例如下：

import pyspark
from transforms.api import transform, Input, Output

# 给PySpark DataFrame挂载shape方法，对齐pandas的使用习惯
def spark_shape(self):
    return (self.count(), len(self.columns))
pyspark.sql.dataframe.DataFrame.shape = spark_shape

@transform(
    result=Output("替换为你的输出数据集路径"),
    source_df=Input("替换为你要统计的目标数据集路径")
)
def process(source_df, result):
    df = source_df.dataframe()
    # 此处调用shape会触发全量Spark计算，返回真实的(总行数, 列数)，不受预览10000行限制
    dataset_shape = df.shape()
    print(f"数据集全量shape为：总行数{dataset_shape[0]}，列数{dataset_shape[1]}")
    
    # 后续正常编写数据处理逻辑即可
    result.write_dataframe(df)

该方式触发正式的分布式计算作业，统计结果完全准确。

• 免代码快速查询行数
  如果只是需要获取数据集的总行数，无需额外写代码统计：Foundry的数据集详情页会自动展示每个已构建版本的元数据，包括总行数、字段列表、字段类型、数据大小等信息，该数值是平台每次构建完成后自动计算的，结果准确可直接取用。

注意：预览模式的定位是快速校验代码逻辑正确性，默认采样是刻意设计的性能优化机制，不要在预览采样的DataFrame上做全量统计类操作，结果不具备参考性。

内容的提问来源于stack exchange，提问作者Hassaan Anwar