如何将Great Expectations DataFrame转换为Apache Spark DataFrame

你通过SparkDFDataset类将原生Spark DataFrame封装为Great Expectations的数据集对象时，Great Expectations不会对原始Spark DataFrame做修改，仅会将其作为内部属性存储。

如果要将已经生成的ge_df转回原生Spark DataFrame，直接访问它的spark_df属性即可，代码如下：

spark_df = ge_df.spark_df

补充说明：

• 转换得到的spark_df和你最初传入SparkDFDataset的原始Spark DataFrame完全一致，你可以直接调用show()、filter()等原生Spark DataFrame支持的所有算子进行后续操作
• 你也可以通过对比转换前后DataFrame的schema、行数等信息验证数据一致性

内容的提问来源于stack exchange，提问作者Patterson