执行Databricks CLI导出命令无响应,如何将CSV导出至本地?
解决Databricks CLI导出DBFS中CSV文件的问题
你之前的命令错误原因
export DATABRICKS_CONFIG_FILE="dbfs:/FileStore/tables/partition.csv" 这个命令的作用是指定Databricks CLI的配置文件路径,并非导出文件的指令,所以执行后无输出是正常行为——它只是在当前会话中设置了一个环境变量,不会触发文件导出操作。
正确导出步骤
你已经通过DataFrame将数据写入DBFS的dbfs:/FileStore/tables/partition.csv目录(注意:write.csv会生成一个文件夹,而非单个文件,里面包含实际的CSV分片文件和_SUCCESS标记文件),按以下步骤导出到本地:
查看DBFS目标目录下的文件
执行CLI命令列出目录内的实际CSV文件:databricks dbfs ls dbfs:/FileStore/tables/partition.csv输出会类似:
part-00000-abc123-def456-c000.csv _SUCCESS记下那个以
part-开头的CSV文件名。导出CSV到本地
使用databricks dbfs cp命令将DBFS上的CSV文件复制到本地:databricks dbfs cp dbfs:/FileStore/tables/partition.csv/part-00000-abc123-def456-c000.csv ./exported_data.csv- 本地存储位置:
./exported_data.csv表示当前执行CLI命令的工作目录,你也可以指定绝对路径,比如:- Windows:
C:\Users\YourName\Downloads\exported_data.csv - Mac/Linux:
~/Downloads/exported_data.csv
- Windows:
- 本地存储位置:
可选:批量复制整个目录(包含所有文件)
如果需要复制整个目录下的所有文件(包括_SUCCESS),添加-r递归参数:databricks dbfs cp -r dbfs:/FileStore/tables/partition.csv ./local_partition_folder
内容的提问来源于stack exchange,提问作者peace
相关产品推荐
相关产品推荐

