Spark执行spark-sql命令报UnsatisfiedLinkError问题排查咨询

以下是针对该错误的具体排查方向：

1. 验证Hadoop本地库的完整性与兼容性 #

java.lang.UnsatisfiedLinkError本质是JVM无法找到或加载本地原生库，优先从Hadoop native库入手：

• 检查$HADOOP_HOME/lib/native目录下的核心库文件（如libhadoop.so、libhdfs.so）是否存在，执行ls -l $HADOOP_HOME/lib/native查看文件列表及权限，确保文件具备可执行权限
• 用ldd $HADOOP_HOME/lib/native/libhadoop.so检查该库的系统依赖是否全部能找到，若有缺失的系统库（如libc、libssl等），需要安装对应系统包补充
• 确认本地库与Spark、Hadoop版本匹配：Spark 3.0.1官方支持Hadoop 2.7+，但需保证native库是针对当前操作系统架构（如x86_64）编译的，避免混装32位/64位库

2. 确保Spark运行时环境变量正确传递 #

driver和executor的环境变量可能存在继承问题，需明确配置：

• 在Spark SQL启动命令中添加executor端的环境变量配置：

  ./spark-sql --master spark://<ip:port> --driver-memory 2G --driver-cores 1 --num-executors 10 --executor-cores 4 --executor-memory 10G --conf spark.executorEnv.LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:$HADOOP_HOME
  

• 验证driver端环境变量生效：执行echo $LD_LIBRARY_PATH确认路径包含Hadoop native库，或在Spark SQL交互界面执行!echo $LD_LIBRARY_PATH查看driver实际环境变量

3. 排查Spark与Hadoop的依赖冲突 #

classpath中重复或版本不一致的jar包可能触发加载异常：

• 启动Spark SQL时添加--verbose参数，查看加载的jar包列表，检查是否存在多个版本的Hadoop相关jar（如hadoop-common、hadoop-hdfs等）
• 确认Spark安装包版本匹配：若使用预编译包，需下载对应Hadoop版本的包（如spark-3.0.1-bin-hadoop2.7.tgz）；若为源码编译，需确认编译时指定了正确的Hadoop版本参数

4. 定位是否由特定SQL语句触发 #

错误被AnalysisException包装，可能是SQL解析阶段触发的IO操作异常：

• 先执行简单SQL（如SELECT 1;）测试，若执行正常，说明问题出在特定表操作上
• 检查涉及的表：若为外部表，确认LOCATION指向的HDFS路径存在且权限正常；若为列式存储（如Parquet、ORC），确认Hadoop native库支持该存储格式的解析

5. 检查集群节点环境一致性 #

executor运行在worker节点上，需保证所有节点环境统一：

• 确认所有worker节点配置了相同的HADOOP_HOME和LD_LIBRARY_PATH环境变量
• 在worker节点上手动执行HDFS命令（如hdfs dfs -ls /），验证native库是否能正常加载，避免节点间库文件缺失或版本不一致

内容的提问来源于stack exchange，提问作者Ilya Timokhin