如何在Tinaroo超算上升级Python库（无管理员权限）

方案1：创建个人Conda环境（推荐） #

无管理员权限时，创建专属conda环境是最稳妥的解决方式，可完全隔离系统依赖：

1. 在登录节点执行以下命令创建并配置环境（避免占用计算节点资源）：

module load anaconda
conda create -n my_autosklearn_env python=3.8  # 可根据代码需求指定Python版本
conda activate my_autosklearn_env
conda install dask>=2021.12  # 安装符合autosklearn要求的版本
conda install autosklearn  # 同步安装其他所需依赖

2. 修改你的PBS脚本，加载anaconda后激活个人环境：

#!/bin/bash
#
#PBS -A qris-jcu
#
#PBS -l select=1:ncpus=24:mem=120GB
#PBS -l walltime=06:00:00
#PBS -N 70my_01_140239


shopt -s expand_aliases
source /etc/profile.d/modules.sh
cd ${PBS_O_WORKDIR}
module load anaconda
conda activate my_autosklearn_env
python 70myb.py 8000 3 "E&V" 2 1 15 10000 120 24

方案2：使用pip用户级安装 #

若不想创建conda环境，可通过--user参数将dask安装到个人目录：

修改脚本，在运行代码前执行pip安装：

#!/bin/bash
#
#PBS -A qris-jcu
#
#PBS -l select=1:ncpus=24:mem=120GB
#PBS -l walltime=06:00:00
#PBS -N 70my_01_140239


shopt -s expand_aliases
source /etc/profile.d/modules.sh
cd ${PBS_O_WORKDIR}
module load python
module load anaconda
pip install --user dask>=2021.12
python 70myb.py 8000 3 "E&V" 2 1 15 10000 120 24

注意：该方式可能与系统环境依赖产生冲突，仅作为备选方案。

方案3：加载超算已提供的高版本dask模块 #

Tinaroo超算可能已预装符合要求的dask版本，先在登录节点查询可用模块：

module avail dask

若存在版本≥2021.12的dask模块，直接在脚本中加载即可，示例：

module load dask/2022.01.0

内容的提问来源于stack exchange，提问作者asmgx