You need to enable JavaScript to run this app. 如何使用PySpark扫描本地海量文件目录,获取修改时间生成(key,value)对RDD
优惠活动
大模型
产品
解决方案
定价
更多

如何使用PySpark扫描本地海量文件目录,获取修改时间生成(key,value)对RDD

PySpark批量获取文件修改时间的实现方案

核心设计思路

  • 彻底规避driver端内存溢出风险:绝不将10万级全量文件路径一次性加载到driver内存,仅提取根目录下的少量一级子目录(通常仅几十到上百个,内存占比可忽略)作为并行分片的输入
  • 适配Windows本地路径执行环境:所有文件遍历、元数据读取逻辑放在executor端执行(local模式下与driver同机运行,可直接访问C盘路径)
  • 内置容错逻辑:避免单个文件权限不足、被占用/删除等异常导致整体扫描任务中断
  • 适配大小文件混合场景:逻辑仅读取文件系统元数据,和文件实际大小无关,不管是不足1KB的小文件还是数MB的大文件,扫描开销无差异
  • 输出格式完全匹配需求:最终生成的RDD严格遵循(key=文件完整路径, value=格式化修改时间)的键值对结构

注意:该方案适配你提到的Windows本地C盘路径场景,需要将PySpark设置为local模式运行,避免分布式集群节点无法访问本地路径的问题。


可直接运行的代码实现

import os
import datetime
from pyspark.sql import SparkSession

# 初始化本地模式Spark
spark = SparkSession.builder \
    .master("local[*]") \
    .appName("ScanFileModifyTime") \
    .getOrCreate()
sc = spark.sparkContext

# 配置需要扫描的根目录
ROOT_SCAN_PATH = r"C:\Xiang"

# 仅提取根目录下的一级子目录(数据量极小,无driver内存压力)
first_level_entries = [
    os.path.join(ROOT_SCAN_PATH, entry)
    for entry in os.listdir(ROOT_SCAN_PATH)
    # 过滤出所有一级子目录
    if os.path.isdir(os.path.join(ROOT_SCAN_PATH, entry))
]
# 把一级子目录转成初始RDD,每个分片对应一个子目录
dir_rdd = sc.parallelize(first_level_entries, numSlices=len(first_level_entries))

# 定义每个分片内的文件扫描逻辑
def list_files_with_mtime(dir_path):
    # 遍历当前子目录下所有层级的文件
    for dirpath, _, filenames in os.walk(dir_path):
        for filename in filenames:
            full_file_path = os.path.join(dirpath, filename)
            try:
                # 读取文件元数据
                file_meta = os.stat(full_file_path)
                # 格式化为要求的时间格式 YYYY-MM-DD HH:MM
                modify_time = datetime.datetime.fromtimestamp(file_meta.st_mtime).strftime("%Y-%m-%d %H:%M")
                # 生成键值对
                yield (full_file_path, modify_time)
            except (OSError, PermissionError):
                # 跳过异常文件,不中断整体扫描
                continue

# 执行全量扫描,得到最终的文件-修改时间RDD
file_mtime_rdd = dir_rdd.flatMap(list_files_with_mtime)

# 可随机抽取少量结果做验证
print(file_mtime_rdd.take(5))

关键操作提示

  • 并行度适配:如果一级子目录数量少于本机CPU核心数,可以适当调高sc.parallelize的numSlices参数,把文件量较大的子目录拆成多个分片,充分利用多核能力加快10万级文件的扫描速度
  • 后续筛选逻辑:因为时间格式是按照年-月-日 时:分排列的,字符串字典序和实际时间顺序完全一致,后续做文件筛选时不需要额外转换时间类型,直接比较字符串即可,例如筛选2023年之后的文件可以直接写file_mtime_rdd.filter(lambda x: x[1] > "2023-01-01 00:00")
  • 常见误区规避:不要直接使用wholeTextFiles或自带的Hadoop FileSystem list接口在driver端拉取全量文件元数据,这类操作会一次性把所有文件信息加载到driver内存,10万文件量级很容易触发OOM
  • 零散文件适配:如果根目录下直接存在不属于任何一级子目录的零散文件,可以在first_level_entries列表中加入根目录路径,扫描逻辑会自动覆盖这部分文件

内容的提问来源于stack exchange,提问作者XYZ

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 13:15:10