在EMR集群（PySpark环境）安装Seaborn失败，求简便解决方案

针对你在搭载PySpark的EMR集群上安装Seaborn失败的问题，以下是几种可行的解决方法：

1. 先安装系统级编译依赖 #

Seaborn依赖的Matplotlib等包需要系统级编译库支持，直接用pip安装会因缺少这些库失败。先在集群节点上执行以下命令安装系统依赖：

sudo yum install -y gcc gcc-c++ libpng-devel freetype-devel python-devel

完成后再执行Python包安装命令：

sc.install_pypi_package("seaborn==0.12.1")
# 或用%pip命令
%pip install seaborn==0.12.1

2. 使用EMR Bootstrap Action提前预装 #

这是最稳定的方式，能避免运行时安装的依赖问题。创建一个名为scipt.sh的bootstrap脚本：

#!/bin/bash
# 安装系统依赖
sudo yum install -y gcc gcc-c++ libpng-devel freetype-devel python-devel
# 安装目标Python包
sudo pip install pandas==1.0.3 seaborn==0.12.1

创建EMR集群时，通过控制台或CLI添加这个bootstrap action，集群启动时会自动在所有节点完成安装。

3. 按顺序手动安装Python依赖 #

sc.install_pypi_package虽能处理PyPI依赖，但部分包的安装顺序会影响结果，可按以下顺序执行：

# 先安装基础依赖
sc.install_pypi_package("numpy>=1.18.5")
sc.install_pypi_package("Cython>=0.29.21")
sc.install_pypi_package("matplotlib>=3.3.0")
# 最后安装Seaborn
sc.install_pypi_package("seaborn==0.12.1")

4. 利用Conda安装（集群支持时） #

若你的EMR集群是5.20及以上版本（默认支持Conda），可通过Conda安装，它会自动处理大部分依赖：

%conda install seaborn==0.12.1 pandas==1.0.3 -y

补充说明 #

sc.install_pypi_package仅能自动处理PyPI上的Python包依赖，无法解决系统级编译库缺失问题——这也是你安装Cython后仍失败的核心原因，Matplotlib等包需要系统级图形库和编译工具支持，必须先通过yum安装这些依赖。

内容的提问来源于stack exchange，提问作者simplemente humano