Scala中GBTClassifier拟合模型时遇FileNotFoundException求助

嘿，我之前在本地调试Spark MLlib模型时也碰到过类似的异常，结合你描述的情况——集群运行正常但本地报错，而且df_train已经包含特征和标签列，咱们可以从这几个方向入手排查：

• 检查本地Spark临时目录的权限与路径
  Spark运行过程中会生成大量临时文件，默认使用系统临时目录（比如Linux的/tmp、Windows的C:\Temp）。如果这个目录存在权限限制，或者被系统自动清理，就会触发FileNotFoundException。你可以手动指定一个你有读写权限的目录：

  val spark = SparkSession.builder()
    .appName("GBTTraining")
    .master("local[*]")
    .config("spark.local.dir", "/home/yourname/spark_temp") // 替换成你有权限的自定义目录
    .getOrCreate()
  

• 对齐集群与本地的Spark版本
  不同版本的Spark MLlib组件在底层实现上可能有差异，如果你的本地Spark版本和Hadoop集群的版本不一致，可能会导致依赖文件或API兼容问题。比如集群用Spark 3.3，你本地用3.0，就可能出现这类文件找不到的异常，尽量保持版本完全一致。

• 查看完整的异常堆栈信息
  你只提到了FileNotFoundException，但具体是找不到哪个文件？是临时文件、依赖jar包还是其他资源？把完整的堆栈日志打印出来，能精准定位问题点。比如如果是MLlib某个依赖文件缺失，可能是你本地的Spark安装包不完整，或者Maven/Gradle的依赖没有拉取完全。

• 尝试单线程本地模式运行
  有时候本地多线程模式（local[*]）下，多个线程竞争临时文件资源也会导致这个问题。可以先切换到单线程模式测试：

  .master("local[1]")
  

• 验证本地DataFrame的有效性
  虽然你确认df_train包含特征和标签，但本地运行时可以先打印数据结构和样本，确保没有隐式问题：

  df_train.printSchema() // 确认features列是Vector类型，标签列类型正确
  df_train.show(5) // 查看样本数据是否正常
  

我之前遇到的情况是本地系统临时目录权限不足，指定了自定义的可写目录后就解决了。你可以先从这些点逐一排查，应该能找到问题根源。

内容的提问来源于stack exchange，提问作者Alekcei Nosach