无SBT/Maven的Docker环境下Scala编译Spark代码报错求助

问题描述 #

在未安装SBT和Maven的Docker环境中，执行命令scalac problem1.scala -d problem1.jar编译包含Spark依赖的代码时，出现错误：

problem1.scala:3: error: object apache is not a member of package org

错误对应导入语句import org.apache.spark.SparkContext，核心原因是编译时找不到Spark相关依赖包。

解决步骤 #

1. 获取Spark依赖包 #

• 直接下载对应版本的Spark预编译包（例如Spark 3.3.0），解压后jars目录下包含所有所需依赖。
• Docker环境中可通过命令快速下载解压：

wget https://archive.apache.org/dist/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.tgz
tar -xzf spark-3.3.0-bin-hadoop3.tgz
mv spark-3.3.0-bin-hadoop3/jars spark-jars

2. 编译时指定依赖类路径 #

使用scalac编译时，通过-cp（或-classpath）参数将所有Spark依赖jar包加入类路径。假设依赖jar都在当前目录的spark-jars文件夹下，执行命令：

scalac -cp "spark-jars/*" problem1.scala -d problem1.jar

注：Linux/Docker环境下路径分隔符用:，Windows用;。

3. 运行编译后的jar包 #

• 优先用Spark自带的spark-submit运行，它会自动处理依赖：

spark-submit --class problem1 problem1.jar [你的输入文件路径]

• 若没有spark-submit，也可直接用scala命令指定类路径：

scala -cp "spark-jars/*:problem1.jar" problem1 [你的输入文件路径]

补充提示 #

• 建议使用完整的Spark预编译包，避免手动收集依赖时遗漏导致其他编译/运行错误。
• 若需要精简依赖，可只保留spark-core_*.jar、spark-sql_*.jar以及它们的直接依赖（如log4j、commons系列jar包），但完整包更省心。

内容的提问来源于stack exchange，提问作者HelloWorld