GCP Databricks初始化脚本访问DBFS失败及Jar包预部署问题求助

我现在正尝试在启动GCP Databricks集群前，把一个Jar包部署到集群的Jars目录里，已经试过几种方法，但都遇到了问题：

• 把Jar包放到GCS存储桶，再从桶里下载：因为公司内部证书验证的问题，导致初始化脚本超时报错
• 放到Azure Repos里：考虑到安全性问题，这个方案不可行
• 放到DBFS里，再从DBFS复制到目标目录：执行初始化脚本里的cp -f /dbfs/databricks/spark_monitoring.zip /databricks/jars命令时，报错说/dbfs/internal文件夹不存在

我现在有个疑问：为什么初始化脚本里无法访问DBFS路径呢？我的Databricks版本是14.3，而且同样的路径在Azure Databricks里是可以正常访问的，但到了GCP Databricks就不行了，有没有人能帮忙解决这个问题呀！

备注：内容来源于stack exchange，提问作者Nikhil Tale