PySpark实现按指定天数筛选并迁移历史文件的函数开发求助

嗨，我完全懂你的需求！你现在已经能实现基础的文件迁移，但想要把功能升级成一个可复用的函数，能按指定天数筛选旧文件对吧？别担心，我来帮你一步步搞定这个需求。

首先先理清楚你的文件名规则：abc_20250114220000（我猜你可能打错了日期部分，应该是yyyymmddhhmmss的格式，比如2025年1月14日22点00分00秒），我们需要从文件名里提取出这个时间戳，然后判断它是否早于「当前日期减去指定天数」的时间，符合条件的就迁移。

下面是完整的函数实现，我会逐部分给你解释：

from datetime import datetime, timedelta

def move_old_files(days_old, source_path, dest_path):
    # 计算截止时间：当前时间减去指定天数
    cutoff_time = datetime.now() - timedelta(days=days_old)
    
    # 获取源路径下的所有文件
    list_of_files = dbutils.fs.ls(source_path)
    
    for file in list_of_files:
        # 跳过文件夹，只处理文件
        if not file.isFile():
            continue
            
        file_name = file.name
        # 从文件名中提取时间戳部分（假设文件名格式是前缀_yyyymmddhhmmss，带后缀的话会自动去掉）
        try:
            # 分割下划线取最后一段，再分割后缀（比如.csv）取时间戳部分
            timestamp_str = file_name.split("_")[-1].split(".")[0]
            # 解析时间戳为datetime对象，格式要和文件名里的时间格式完全匹配
            file_time = datetime.strptime(timestamp_str, "%Y%m%d%H%M%S")
            
            # 判断文件时间是否早于截止时间，符合条件就迁移
            if file_time < cutoff_time:
                destination_path = f"{dest_path}/{file_name}"
                dbutils.fs.cp(file.path, destination_path)
                print(f"已成功迁移文件: {file_name} -> {destination_path}")
        except Exception as e:
            print(f"处理文件 {file_name} 时出错: {str(e)}，已跳过该文件")

# 调用示例：迁移源路径下7天前的文件到目标路径
move_old_files(days_old=7, source_path="/your/source/path", dest_path="/your/dest/path")

接下来给你拆解一下关键细节：

• 参数设计：函数接收三个参数days_old（要筛选的天数，比如5代表5天前及更早的文件）、source_path（源文件路径）、dest_path（目标路径），完全贴合你的需求。
• 截止时间计算：用datetime.now()获取当前本地时间，减去timedelta(days=days_old)得到时间阈值，所有早于这个时间的文件都会被迁移。如果你的文件时间戳是UTC时间，记得把datetime.now()改成datetime.utcnow()，避免时区差异导致筛选错误。
• 文件过滤：遍历源路径时先跳过文件夹（用file.isFile()判断），避免误处理目录。
• 时间戳解析：通过下划线分割文件名提取时间戳部分，同时自动处理带后缀的文件（比如abc_20250114220000.csv）。这里的格式字符串%Y%m%d%H%M%S对应「4位年+2位月+2位日+2位时+2位分+2位秒」，如果你的时间戳格式有变化，记得调整这个格式。
• 异常处理：加了try-except块，避免因为个别文件名不符合格式导致整个程序崩溃，遇到异常文件会打印提示并跳过。

如果你的文件名格式和我假设的不一样（比如时间戳在其他位置、格式不同），随时告诉我，我再帮你调整代码！

备注：内容来源于stack exchange，提问作者user3873251