如何将数据从Databricks写入ADLS(Azure数据湖存储)
问:如何将数据从Databricks写入ADLS?
操作步骤与代码示例:
- 验证ADLS路径可访问性:先执行命令确认目标ADLS路径能正常访问
- 写入数据:将目标DataFrame(示例中为
customer_df)写入指定ADLS路径,指定存储格式为CSV,分隔符为| - 确认写入结果:再次查看ADLS路径,验证数据是否成功写入
// 验证ADLS目标路径 dbutils.fs.ls("abfss://transformed-data@azuredatalakegen2project.dfs.core.windows.net/") // 将DataFrame合并为1个文件后写入ADLS,格式为CSV,分隔符为| customer_df.coalesce(1).write.format("csv").option("sep", "|").save("abfss://transformed-data@azuredatalakegen2project.dfs.core.windows.net/customer") // 再次查看路径,确认数据已写入 dbutils.fs.ls("abfss://transformed-data@azuredatalakegen2project.dfs.core.windows.net/")
注:示例中
customer_df为待写入的DataFrame对象,abfss://...为你的ADLS Gen2实际路径,可根据业务场景替换参数。
内容的提问来源于stack exchange,提问作者Akash Satish Magar
相关产品推荐
相关产品推荐

