如何从Amazon S3存储桶提取文件名并去除.csv后多余0及顶部空行

调整后可用命令 #

# 清理旧文件保证每次生成的文件名列表都是最新的
rm ListOfFiles.txt

# 提取并处理文件名
aws s3 ls <bucket-address-directory-path> | awk '$4 != "Archive" && $4 != "" {print $4}' | sed 's/\.csv000*/.csv/g' >> ListOfFiles.txt

命令修改说明 #

• awk步骤新增两个过滤规则：$4 != "Archive" 直接排除Archive文件夹的输出条目，$4 != "" 过滤空值，从源头避免生成顶部空行
• 额外修正了原sed命令中.未转义的问题：正则中.默认匹配任意字符，增加转义符\后只会匹配真实的后缀点号，避免误匹配其他文件名

内容的提问来源于stack exchange，提问作者marwari