关于Purview ADB血缘解决方案部署中DBFS CLI命令的逻辑确认
关于Databricks CLI上传文件命令的理解验证
你的3点理解中,第2、3点完全正确,第1点细节上需要补充说明:
第1点补充:
dbfs mkdirs dbfs:/databricks/openlineage命令会在DBFS的/databricks目录下创建openlineage子文件夹。mkdirs参数的作用是递归创建所有不存在的父目录,即使/databricks目录已经存在,命令也不会报错,只会确保最终的/databricks/openlineage路径存在。第2点确认:正确。命令中使用了相对路径
./指向本地文件,因此必须在jar和sh脚本所在的本地目录下执行PowerShell命令,否则Databricks CLI会找不到这些本地文件。第3点确认:正确。第二、三行的
dbfs cp --overwrite命令会将本地的jar文件和sh脚本,以覆盖模式上传到DBFS的/databricks/openlineage/路径下。
完整命令执行逻辑:
dbfs mkdirs dbfs:/databricks/openlineage:预先在DBFS上创建目标目录,确保后续文件上传有合法路径,避免因路径不存在导致复制失败。dbfs cp --overwrite ./openlineage-spark-*.jar dbfs:/databricks/openlineage/:将当前本地目录中所有符合openlineage-spark-*.jar命名规则的jar文件,覆盖上传到DBFS目标目录;若目标目录已存在同名文件,会被新文件替换。dbfs cp --overwrite ./open-lineage-init-script.sh dbfs:/databricks/openlineage/open-lineage-init-script.sh:将本地当前目录的open-lineage-init-script.sh文件,覆盖上传到DBFS目标目录;这里明确指定了目标文件名,也可以简化为dbfs cp --overwrite ./open-lineage-init-script.sh dbfs:/databricks/openlineage/,效果完全一致。
内容的提问来源于stack exchange,提问作者nam
相关产品推荐
相关产品推荐

