Databricks中dbutils.fs.mv找不到解压文件的问题及解决方法
在Databricks中处理压缩文件:解决解压后文件无法被DBFS访问的问题
我按照《Microsoft Tutorial》在Databricks中执行导入压缩文件、解压并加载至DataFrame的操作时遇到了问题:通过Bash脚本成功从FTP服务器下载Crash_2023Apr.zip并解压后,执行dbutils.fs.mv移动解压后的2023Apr_Crash.txt时,始终提示文件未找到。
我先后尝试了四种方法均未解决:
- 修改源路径为
/2023Apr_Crash.txt - 修改源路径为
2023Apr_Crash.txt - 在同一单元格结合Python魔法命令执行DBUtils语句,被识别为Bash语法错误
- 直接访问
dbfs:/tmp/2023Apr_Crash.txt,提示路径不存在
最终通过修改unzip命令的输出路径至/dbfs/tmp解决了问题,可行代码如下:
修正后的Bash脚本
%sh curl ftp://ftp.senture.com/Crash_2023Apr.zip --output /tmp/Crash_2023Apr.zip unzip -d /dbfs/tmp /tmp/Crash_2023Apr.zip
加载至DataFrame的Python代码
df = spark.read.format("csv").option("skipRows", 0).option("header", True).load("dbfs:/tmp/2023Apr_Crash.txt") display(df)
内容的提问来源于stack exchange,提问作者Randall
相关产品推荐
相关产品推荐

