Spark新手用PySpark读CSV遇HiveFileFormat缺失错误求解决

嘿，作为Spark新手遇到这个问题确实挺头疼的，我来帮你一步步分析和解决！

首先先捋清楚代码里的小问题，再针对性解决那个Hive相关的报错：

一、先修正代码的写法（Spark 2.x 标准方式） #

你的第一种代码里有个明显的疏漏：spark变量还没初始化就直接调用了！Spark 2.0之后官方推荐用SparkSession作为统一入口，代替原来的SparkContext+SQLContext，而且启用Hive支持刚好能解决你遇到的HiveFileFormat找不到的问题。

推荐的正确代码如下：

from pyspark.sql import SparkSession

# 初始化SparkSession，启用Hive支持是解决报错的关键
spark = SparkSession.builder \
    .appName("CSVReader") \
    .enableHiveSupport() \
    .getOrCreate()

# 读取CSV文件，如果你的CSV带表头，加上header=True；需要自动推断字段类型就加inferSchema=True
df = spark.read.csv('D:/Users/path/csv/test.csv', header=True, inferSchema=True)
df.show()

另外你的第二种代码里用的com.databricks.spark.csv其实在Spark 2.0之后已经内置到原生CSV数据源里了，不需要再指定这个格式，直接用上面的写法就可以正常读取。

二、为什么会出现HiveFileFormat找不到的错误？ #

这个报错java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.sql.hive.execution.HiveFileFormat not found，本质是Spark在加载数据源注册服务时找不到Hive相关的类，常见原因有这几个：

• Spark初始化未启用Hive支持：Spark 2.x默认不会自动加载Hive组件，通过enableHiveSupport()可以强制加载相关依赖，解决类找不到的问题。
• Spark安装包不完整：你用的是spark-2.1.0-bin-hadoop2.7，要确认这个安装包是包含Hive支持的完整版本，不是标注了without-hive的精简版。如果是精简版，需要重新下载完整的Spark安装包。
• 环境变量配置有问题：确保SPARK_HOME环境变量指向正确的Spark目录，并且PYTHONPATH包含$SPARK_HOME/python和$SPARK_HOME/python/lib/py4j-0.10.4-src.zip（对应你安装的Py4J版本），这样Python才能正确找到Spark的所有依赖类。

三、额外排查步骤 #

如果上面的方法还是不行，可以试试这些：

• 查看Spark日志，获取更详细的类加载失败信息，确认是不是某个Hive相关的jar包缺失。
• 如果你是在Jupyter/IPython里运行，重启内核后再运行修正后的代码，避免之前的上下文残留问题。

这样应该就能顺利解决你的问题啦！

内容的提问来源于stack exchange，提问作者user15051990