Airflow S3Hook下载文件自动添加临时后缀报错如何解决？

原因 #

你遇到的临时后缀是Airflow S3Hook的download_file/download_files方法默认行为导致的：

• 该方法的use_autogenerated_subdir参数默认值为True，会在你指定的local_path下自动创建一个随机命名的临时子目录（即airflow_tmp_xxx后缀部分），用于存放下载的文件。
• 这个设计是为了避免多任务并发下载时，多个任务同时写入同一目录引发文件覆盖或冲突问题。但如果你期望文件直接下载到指定路径而非临时子目录，就会出现找不到文件的错误。

解决方法 #

根据你的下载场景，调整参数即可消除临时后缀：

1. 下载单个文件 #

调用download_file时，显式设置use_autogenerated_subdir=False，同时确保local_path指定的是具体文件名（而非目录）：

from airflow.providers.amazon.aws.hooks.s3 import S3Hook

def s3_extract():
    hook = S3Hook(aws_conn_id='your_aws_conn')
    # 明确指定目标文件名，关闭自动生成临时子目录
    hook.download_file(
        bucket_name='your_bucket',
        key='path/to/source/file.csv',
        local_path='/tmp/target_file.csv',
        use_autogenerated_subdir=False
    )

2. 下载多个文件 #

如果使用download_files批量下载，同样设置use_autogenerated_subdir=False，此时local_path指定目标目录即可，文件会直接下载到该目录下：

from airflow.providers.amazon.aws.hooks.s3 import S3Hook

def s3_extract():
    hook = S3Hook(aws_conn_id='your_aws_conn')
    hook.download_files(
        bucket_name='your_bucket',
        keys=['file1.csv', 'file2.csv'],
        local_path='/tmp/target_dir/',
        use_autogenerated_subdir=False
    )

注意事项 #

• 如果你的local_path是目录，且开启了use_autogenerated_subdir=True，文件会被放到local_path/airflow_tmp_xxx/下，这时候你需要从这个临时目录里读取文件，或者关闭该参数。
• 确保Airflow运行的用户对指定的local_path有读写权限，避免因权限问题引发的文件异常。

内容的提问来源于stack exchange，提问作者Dynastywarriorlord07