Python计算HDFS文件/文件夹创建天数时遇报错求助

我来帮你一步步拆解代码里的问题，让它能正常运行：

先解决最直白的语法与依赖问题 #

• 函数定义缺少冒号：def get_days(directory, file)这一行末尾必须加上:，否则Python会直接抛出语法错误，这是最基础的语法规范。
• shell_command未定义：你调用了这个函数但没有提供它的实现，Python会报NameError: name 'shell_command' is not defined。建议用Python标准库的subprocess模块来执行系统命令，这是更可靠的方式。
• 重复导入datetime：import datetime和from datetime import datetime重复了，保留其中一种即可，比如只留from datetime import datetime，代码会更简洁。

再处理HDFS命令输出的潜在坑 #

• hadoop fs -ls输出格式不稳定：如果是创建时间较久的文件，HDFS的ls输出会只显示年份（比如2023-08-15）而不是具体时间（2023-08-15 10:20），直接用%Y-%m-%d %H:%M解析会失败，需要兼容两种格式。
• 路径空格问题：如果directory或file的路径包含空格，直接拼接命令会导致执行出错，需要用引号把路径包裹起来。

修复后的完整代码 #

from datetime import datetime
import subprocess

def get_days(directory, file_path):
    current_datetime = datetime.now()
    # 用单引号包裹路径，避免空格引发的命令错误
    command = f"hadoop fs -ls '{directory}{file_path}' | tr -s ' ' | cut -d' ' -f6-7 | grep '^[0-9]'"
    
    try:
        # 执行命令并捕获输出，text=True让返回值是字符串而非字节
        output = subprocess.check_output(command, shell=True, text=True).strip()
        # 兼容两种日期格式：带时分的新文件、只带日期的旧文件
        try:
            file_date = datetime.strptime(output, '%Y-%m-%d %H:%M')
        except ValueError:
            # 旧文件默认时间设为当天0点
            file_date = datetime.strptime(output, '%Y-%m-%d')
        
        date_period = current_datetime - file_date
        return date_period.days
    except subprocess.CalledProcessError:
        # 处理命令执行失败的情况：文件不存在、权限不足等
        print(f"错误：无法获取文件 {directory}{file_path} 的信息")
        return None

额外优化建议 #

• 把参数名file改成file_path，避免和Python内置的file类型名称冲突。
• 增加异常处理逻辑，让代码在遇到错误时更健壮，不会直接崩溃。
• 如果你的HDFS集群使用UTC时间，而本地是其他时区，建议用datetime.utcnow()替代datetime.now()，避免时区差异导致天数计算偏差。

内容的提问来源于stack exchange，提问作者RSG