Great Expectations是否兼容PySpark？支持多核运行吗？

PySpark 兼容性 #

Great Expectations 完全兼容 PySpark，你可以直接基于 PySpark DataFrame 开展数据质量校验：

• 借助 SparkDFDataset 类封装 PySpark DataFrame，调用所有原生的 Expectation 方法（例如 expect_column_values_to_be_between、expect_column_to_exist）
• 适配 Spark 全部署模式，包括本地单机、YARN、K8s 等集群环境，能无缝集成到现有 Spark 数据流水线中

多核运行支持 #

Great Expectations 支持多核运行，核心依赖底层计算引擎的并行能力：

• 基于 PySpark 执行校验时，Spark 会自动利用集群多核资源并行处理数据，Great Expectations 的校验逻辑会随 Spark 任务分布式执行
• 本地运行场景下，可通过配置 Spark 参数（如 spark.executor.cores、spark.driver.cores）启用多核计算，大幅提升校验效率
• 批量数据处理逻辑原生适配 Spark 分布式框架，能充分利用多核资源加速数据质量检查

内容的提问来源于stack exchange，提问作者code_bug