如何在Databricks集群上批量“永久”安装多个PyPi库？

• 大部分主流集群管理平台都支持批量指定预装库，无需逐个添加：
  1. 找到集群配置里的「自定义PyPi依赖」或类似选项，部分平台会提供文本输入框，直接粘贴pandas==1.5.3 numpy==1.24.3 scipy==1.10.1这类和pip命令格式一致的内容即可。
  2. 若平台无直接批量输入框，可使用requirements.txt文件：将需要的库（带版本号）按行写入文件，示例如下：

     pandas==1.5.3
     numpy==1.24.3
     scipy==1.10.1
     

     然后在集群配置中指定上传该文件作为依赖源，集群启动时会自动读取并安装所有列出的库。
• 若平台确实仅支持单个添加，还可通过集群初始化脚本实现批量安装：编写shell脚本，在其中直接执行pip install pandas==xx numpy==xx ...，将脚本配置为集群启动时自动运行的初始化脚本，每次集群启动都会自动执行批量安装。

内容的提问来源于stack exchange，提问作者Pengshe