启动Spark时出现cp720字符集错误及SparkContext初始化失败求助

报错信息 #

Unable to get Charset 'cp720' for property 'sun.stdout.encoding', using default windows-1256 and continuing. 
WARN NativeCodeLoader: Unable to load native-hadoop library for your platform.
ERROR SparkContext: Error initializing SparkContext.

中文翻译 #

无法获取属性'sun.stdout.encoding'对应的字符集'cp720'，将使用默认的windows-1256并继续。
警告 NativeCodeLoader: 无法为当前平台加载原生Hadoop库。
错误 SparkContext: 初始化SparkContext时出错。

解决步骤 #

1. 修复字符集编码问题 #

cp720是阿拉伯语DOS字符集，Windows环境下编码配置异常会触发该错误：

• 临时生效：启动Spark前，在命令行执行以下命令：

  set PYTHONIOENCODING=utf-8
  set JAVA_OPTS=-Dfile.encoding=utf-8
  

• 永久生效：在系统环境变量中新增两个变量：
  • 变量名PYTHONIOENCODING，值utf-8
  • 变量名JAVA_OPTS，值-Dfile.encoding=utf-8

2. 处理Hadoop原生库加载警告 #

该警告虽不直接导致SparkContext初始化失败，但可能影响部分功能，可按以下方式处理：

• 加载原生库：下载对应Windows版本的winutils工具，配置HADOOP_HOME环境变量指向winutils所在目录，并将%HADOOP_HOME%\bin添加到系统PATH中。
• 禁用警告：在Spark的spark-defaults.conf配置文件中添加一行：

  spark.hadoop.native.lib=false
  

3. 排查SparkContext初始化失败 #

完成以上两步后重新启动Spark，若仍报错，检查以下内容：

• 确认Java、Python版本符合Spark要求（建议Java 8/11，Python 3.7+）
• 检查spark-env.cmd（Windows）或spark-env.sh（Linux）中的环境变量配置，确保JAVA_HOME、PYSPARK_PYTHON路径正确

内容的提问来源于stack exchange，提问作者احمد عبده