Windows环境下Scala Spark连接远程HDFS集群报错求助

这个错误我之前帮同事排查过好几次，大概率是版本兼容性或者客户端配置/网络问题导致的，咱们一步步来拆解解决：

你本地Scala IDE里的Spark、Hadoop依赖版本，必须和远程HDFS集群的版本严格对齐。你遇到的Protocol message end-group tag did not match错误，90%是因为客户端和集群的protobuf（Hadoop底层通信用的组件）版本不兼容。

• 先登录到集群的masternode，执行这两个命令查版本：

  hadoop version
  spark-submit --version
  

• 然后在你的Scala项目的构建文件（比如build.sbt）里，指定对应的依赖版本。举个例子，如果集群是Hadoop 3.2.1 + Spark 3.3.0，你的依赖应该这么写：

  libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % "3.3.0" % Provided,
    "org.apache.hadoop" % "hadoop-client" % "3.2.1"
  )
  

  注意：Spark和Hadoop有固定的兼容组合，比如Spark 3.x对应Hadoop 3.2.x，别乱搭版本。

远程HDFS集群的配置信息，你的本地Spark客户端不知道，所以得把集群的配置文件拷过来：

• 从集群的$HADOOP_HOME/etc/hadoop目录，复制core-site.xml和hdfs-site.xml这两个文件。
• 把它们放到你Scala项目的src/main/resources目录下（没有就新建这个目录），Spark启动时会自动加载这些配置，不用在代码里硬写hdfs://masternode:9000（当然写也可以，但配置文件更靠谱）。
• 检查一下配置：
  • core-site.xml里的fs.defaultFS必须是hdfs://masternode:9000，和你代码里的路径一致；
  • hdfs-site.xml里的dfs.replication等参数要和集群保持一致。

错误日志里显示你的本地主机是MyLap/11.22.33.44，目标是masternode:9000，这里可能有两个坑：

• 主机名解析失败：Windows本地不知道masternode是谁。打开C:\Windows\System32\drivers\etc\hosts文件（用管理员权限编辑），添加一行：

  192.168.x.x masternode  # 把这里的IP换成集群masternode的实际IP
  

• 端口不通：确保Windows能ping通masternode的IP，并且用telnet masternode 9000测试9000端口是否开放。如果连不上，要么是集群防火墙没开9000端口，要么是网络路由有问题，找集群管理员帮忙搞定。

Windows跑Spark连接HDFS经常缺原生库，虽然你的错误不是直接这个原因，但也可能间接影响通信：

• 下载和集群Hadoop版本对应的Windows原生库（比如hadoop-3.2.1-winutils.zip），解压后把bin目录的路径设为系统环境变量HADOOP_HOME，再把%HADOOP_HOME%\bin加到Path里。
• 嫌改环境变量麻烦的话，也可以在代码开头加一行：

  System.setProperty("hadoop.home.dir", "你的原生库解压后的根目录路径")
  

别一开始就读Hive的复杂目录，先测试个简单的HDFS文件读取：

// 先在集群上用hdfs dfs -put test.txt /test.txt传个测试文件
val testRdd = sc.textFile("hdfs://masternode:9000/test.txt")
testRdd.take(5).foreach(println)

如果这个能成功，再去读Hive仓库的目录。这时候还要注意权限问题：检查你本地代码运行的用户，是否有权限访问/user/hive/warehouse/dwh_db_jrtf.db/discipline。可以在集群上执行hdfs dfs -ls /user/hive/warehouse/dwh_db_jrtf.db/discipline看权限，如果没权限，找集群管理员给你授权，或者在代码里设置spark.hadoop.hadoop.security.authentication=simple（如果集群是无认证模式）。

内容的提问来源于stack exchange，提问作者Anis