无法通过Java程序连接远程Spark 1.6.2集群的问题求助

咱们先把核心问题拆解清楚：

1. 你本地依赖的spark-core_2.11-1.5.2和集群的1.6.2版本不匹配——org.apache.spark.internal.Logging是Spark 1.6.x新增的类，1.5.x里确实没有，这是类找不到的直接原因。
2. 更关键的是：SparkSession是Spark 2.0及以后才引入的API，Spark 1.6.x根本没有这个类，你用这个API连接1.6.2集群本身就不对，这也是报错的深层原因。

不用改集群版本，按下面两个步骤调整就能解决：

1. 对齐本地依赖版本到1.6.2 #

把你的spark-core_2.11-1.5.2替换成和集群一致的spark-core_2.11-1.6.2，如果涉及结构化数据处理，还要补充spark-sql_2.11-1.6.2依赖。

如果用Maven，依赖配置示例如下：

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>1.6.2</version>
        <!-- 集群已自带这些依赖，打包时排除避免冲突 -->
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>1.6.2</version>
        <scope>provided</scope>
    </dependency>
</dependencies>

2. 改用Spark 1.6.x原生API创建上下文 #

Spark 1.6.x没有SparkSession，需要用SparkContext（处理Core任务）或SQLContext（处理结构化数据）替代。

纯Core任务示例代码： #

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import scala.Tuple2;
import java.util.Arrays;

public class SparkJavaPOC {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setMaster("spark://your-cluster-master:7077") // 替换为你的集群Master地址
                .setAppName("SparkJavaPOC");
        
        SparkContext sc = new SparkContext(conf);
        
        // 示例：单词计数任务
        sc.textFile("hdfs://path/to/input-file")
          .flatMap(line -> Arrays.asList(line.split(" ")).iterator())
          .mapToPair(word -> new Tuple2<>(word, 1))
          .reduceByKey((a, b) -> a + b)
          .saveAsTextFile("hdfs://path/to/output-dir");
        
        sc.stop();
    }
}

SQL任务示例代码： #

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.DataFrame;

public class SparkJavaPOCSQL {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setMaster("spark://your-cluster-master:7077")
                .setAppName("SparkJavaPOCSQL");
        
        SparkContext sc = new SparkContext(conf);
        SQLContext sqlContext = new SQLContext(sc);
        
        // 示例：读取JSON文件并展示数据
        DataFrame df = sqlContext.read().json("hdfs://path/to/json-file");
        df.show();
        
        sc.stop();
    }
}

额外注意事项 #

• 确保Scala版本匹配：Spark 1.6.2对应Scala 2.11.x，依赖中的_2.11后缀不要改。
• 提交任务用spark-submit命令，示例：

spark-submit --class com.yourpackage.SparkJavaPOC --master spark://your-cluster-master:7077 your-jar-file.jar

这样调整后，版本不匹配和API兼容问题就都解决了，能正常连接到1.6.2的Spark集群。

内容的提问来源于stack exchange，提问作者Abhishek