使用Databricks(Pyspark)对Azure Blob Storage内CSV重命名失败如何解决

• 通配符不兼容：Hadoop FileSystem的rename()接口不支持*这类通配符匹配规则，你代码中传入的part*会被识别为字面量文件名，系统无法找到对应文件，因此重命名操作无效果。
• 文件系统实例未初始化：如果你没有提前初始化对应Azure Blob挂载路径的FileSystem实例，操作会因路径不匹配、权限不足等问题静默失败。
• 目标文件冲突：如果目标路径下已经存在名为movies.csv的文件，默认rename()操作不会覆盖旧文件，会直接执行失败。

方案1：基于Hadoop API实现（兼容你原有写法） #

filePath = "/mnt/ndemo/nsalman/curation/movies/"
# 初始化对应存储的FileSystem实例
hadoop_conf = spark._jsc.hadoopConfiguration()
fs = spark._jvm.org.apache.hadoop.fs.FileSystem.get(hadoop_conf)
# 遍历目录匹配part开头的csv文件
file_status = fs.listStatus(spark._jvm.org.apache.hadoop.fs.Path(filePath))
part_file_path = None
for f in file_status:
    file_name = f.getPath().getName()
    if file_name.startswith("part-") and file_name.endswith(".csv"):
        part_file_path = f.getPath()
        break

if part_file_path:
    target_path = spark._jvm.org.apache.hadoop.fs.Path(filePath + "movies.csv")
    # 若需要覆盖已存在的目标文件可开启下面两行，不需要可删除
    if fs.exists(target_path):
        fs.delete(target_path, False)
    fs.rename(part_file_path, target_path)

方案2：Databricks专属简化实现（推荐） #

Databricks环境内置dbutils工具，操作文件更简洁：

filePath = "/mnt/ndemo/nsalman/curation/movies/"
# 列出目录下所有文件
file_list = dbutils.fs.ls(filePath)
part_file_path = None
for f in file_list:
    if f.name.startswith("part-") and f.name.endswith(".csv"):
        part_file_path = f.path
        break

if part_file_path:
    target_path = filePath + "movies.csv"
    # recurse=True表示允许覆盖已存在的目标文件，不需要可删除该参数
    dbutils.fs.mv(part_file_path, target_path, recurse=True)

内容的提问来源于stack exchange，提问作者Nabia Salman