如何确定适配HDP3.1.5与RHEL7.9的最新稳定Python3.x版本

最优稳定兼容版本 #

经过HDP官方兼容性测试，适配该技术栈的最高稳定Python3版本为Python 3.6.x系列，优先选择最终维护版本3.6.15：

• Spark 2.3.x官方支持的Python3版本上限为3.6，高于3.7的版本会出现UDF序列化异常、RDD算子调用报错等兼容性问题
• RHEL7.9官方默认源已内置Python3.6安装包，无需手动编译源码，可避免系统依赖冲突
• HDP3.1.5全组件（包括PySpark、Zeppelin、Hive等关联Python调用的组件）均已针对Python3.6完成适配验证，不会出现组件联动异常

适配验证操作步骤 #

• 第一步：环境安装
  直接通过yum安装对应依赖包即可，执行命令：

  yum install -y python36 python36-devel python36-setuptools
  

  安装完成后执行python3.6 -V确认版本输出正常即可
• 第二步：HDP Spark2配置修改
  进入Ambari管理界面的Spark2配置页，找到spark-env.sh自定义模板，添加以下两个环境变量：

  export PYSPARK_PYTHON=/usr/bin/python3.6
  export PYSPARK_DRIVER_PYTHON=/usr/bin/python3.6
  

  保存配置后重启Spark2组件生效
• 第三步：全链路兼容性测试
  提交三类测试用例验证业务可用性：
  • 基础功能测试：验证RDD操作、Spark SQL查询、DataFrame常用算子调用无异常
  • 自定义逻辑测试：验证自定义UDF、UDAF、第三方Python依赖包调用正常
  • 关联组件测试：如果使用Zeppelin、Livy等关联PySpark的组件，同步修改其Python解释器路径为Python3.6路径后，验证交互作业提交正常

内容的提问来源于stack exchange，提问作者Priyabrata Behera