Spark 3.x中Parquet的TableProvider实现位置及自定义使用问询

一、现有Hive/Parquet对应的TableProvider实现类 #

• Hive表对应的实现：org.apache.spark.sql.hive.HiveTableProvider
• Parquet文件对应的实现：org.apache.spark.sql.execution.datasources.parquet.ParquetTableProvider

二、自定义Provider的实现建议 #

由于你仅需调整文件读取范围，推荐继承上述现有实现类，重写getTable方法中涉及文件扫描的逻辑即可，无需从零实现整个接口。

三、PySpark中配置使用自定义Provider #

1. 编写与打包：
   • 用Java/Kotlin编写自定义Provider，继承ParquetTableProvider或HiveTableProvider，重写文件筛选逻辑
   • 将代码打包成JAR包，上传至EMR集群的指定路径（如s3://your-bucket/custom-jars/）
2. EMR环境配置：
   • 提交PySpark任务时，通过--jars参数引入自定义JAR：
     spark-submit --jars s3://your-bucket/custom-jars/custom-provider.jar your-script.py
   • 在Spark配置中注册自定义Provider：

     from pyspark.sql import SparkSession
     
     spark = SparkSession.builder \
         .config("spark.sql.sources.providers.customparquet", "com.yourcompany.CustomParquetTableProvider") \
         .getOrCreate()
     

3. 使用自定义Provider读取数据：
   • 直接指定provider参数读取文件：

     df = spark.read \
         .format("customparquet") \
         .load("s3://your-bucket/hive-table-path/")
     

   • 若关联Hive表，可修改Hive表的provider属性为自定义Provider的全类名，或读取时显式指定格式。

四、让Spark加载修改后的实现 #

• 确保自定义JAR包在Spark的classpath中，EMR上可通过--jars参数传递，或在集群配置中添加spark.driver.extraClassPath、spark.executor.extraClassPath参数
• 若需全局生效，可将JAR包放入EMR集群的/usr/lib/spark/jars/目录下（需重启集群或Spark服务）

内容的提问来源于stack exchange，提问作者Andrew