Runtime 10.4环境下，关联.whl文件的Init Script能否迁移至Workspace？

核心结论 #

可以尝试采用Workspace方案完成迁移，但需针对性调整脚本并验证兼容性，同时规避微软提示的潜在风险。

关键适配要点 #

• 微软不推荐的核心原因：Workspace存储的文件在集群初始化阶段的访问路径逻辑与DBFS/ADLS不同，原脚本中直接使用的/path/to/packages/无法定位到Workspace内的文件，必须修改为Workspace专属的文件路径格式：file:/Workspace/[你的工作区目录路径]/packages/
• 调整后的脚本示例：

  #!/bin/sh
  mkdir -p ~/.config/example/
  touch ~/.config/example/config.conf
  cat <<EOF > ~/.config/example/config.conf
  [install]
  find-links = file:/Workspace/your-team-path/packages/
  EOF
  for FILE in file:/Workspace/your-team-path/packages/*.whl;
  do
    pip install ${FILE} --find-link file:/Workspace/your-team-path/packages/
  done
  

• 权限前置验证：确保集群的运行用户或服务主体拥有Workspace中脚本目录和packages目录的读取权限，避免初始化阶段因权限不足导致依赖包安装失败。

测试验证步骤 #

1. 在测试集群环境中，将修改后的Init脚本和.whl文件上传至Workspace指定目录
2. 配置集群使用Workspace中的Init脚本启动，查看初始化日志确认pip安装流程是否正常
3. 验证集群启动后目标依赖包是否成功加载可用

内容的提问来源于stack exchange，提问作者Chvyaken