使用GCSToGCSOperator时move_object=True导致源文件夹被删除的问题求助
GCSToGCSOperator时move_object=True导致源文件夹被删除的问题求助
各位好,我现在有个需求:要把不同GCS桶里的源文件夹内的文件移动到目标文件夹中。我用Airflow的GCSToGCSOperator来实现,配置如下:
source_bucket: "source_bucket" source_object: "source_folder/" destination_bucket: "destination_bucket" move_object: True
但运行DAG的时候,虽然文件确实被成功移动到了destination_bucket/source_folder/路径下,可源桶里的source_folder整个文件夹都被删掉了。我并不想删除这个源文件夹,只希望DAG运行结束后,这个源文件夹变成空文件夹就好。
有没有办法能实现这个需求呀?麻烦各位支个招,谢谢大家!
内容来源于stack exchange
相关产品推荐
相关产品推荐

