如何用Bash从大量文件名提取唯一日期及解决参数过长问题

问题场景 #

需要从大量文件名中提取所有唯一日期，示例输入：

opencomposition_dxxx_20201123.csv.gz     
opencomposition_dxxv_20201123.csv.gz
opencomposition_dxxu_20201123.csv.gz     
opencomposition_sxxv_20201123.csv.gz
opencomposition_sxxe_20211223.csv.gz 
opencomposition_sxxe_20211224.csv.gz  
opencomposition_sxxe_20211227.csv.gz  
opencomposition_sxxesgp_20230106.csv.gz

期望输出：

20201123 20211224 20211227 20230106

原脚本执行时报错：

line 20: /bin/find: Argument list too long

原脚本代码：

for asof_dt in `find -H ./ -maxdepth 1 -nowarn -type f -name *open*.gz
| sort -r | cut -f3 -d "_" | cut -f1 -d"." | uniq`; do
    echo $asof_dt
done

错误原因 #

原脚本中-name *open*.gz的通配符被Shell提前展开，当文件数量过多时，展开后的参数列表长度超出系统限制，触发"Argument list too long"错误。

解决方案 #

方法1：修正find参数，避免Shell通配符展开 #

将通配符用引号包裹，让find自身处理文件名匹配，同时简化管道流程直接输出目标格式：

find -H ./ -maxdepth 1 -nowarn -type f -name "*open*.gz" | sort -r | cut -d "_" -f3 | cut -d "." -f1 | uniq | tr '\n' ' '
echo  # 补充换行，让输出格式更规范

• 引号包裹"*open*.gz"，阻止Shell提前展开通配符，由find内部完成文件名匹配
• 用tr '\n' ' '将每行日期转换为空格分隔的格式，符合期望输出
• 去掉冗余的for循环，直接通过管道完成所有处理，提升效率

方法2：用Bash关联数组去重（Bash 4.0+适用） #

利用Bash的glob特性遍历文件，结合关联数组自动去重：

#!/bin/bash
shopt -s nullglob  # 无匹配文件时返回空，避免出现无效字符串
declare -A date_map  # 关联数组存储唯一日期

for file in ./open*.gz; do
    # 提取日期：按_分割取第3段，再按.分割取第1段
    date_str=$(echo "$file" | cut -d "_" -f3 | cut -d "." -f1)
    date_map["$date_str"]=1
done

# 输出所有唯一日期，空格分隔
echo "${!date_map[@]}"

• shopt -s nullglob确保无匹配文件时循环不执行
• 关联数组date_map的键自动去重，无需额外调用uniq
• ${!date_map[@]}直接输出所有唯一日期，默认用空格分隔

方法3：用awk一步完成提取、去重和格式化 #

借助awk的数组特性，一次处理完成所有逻辑：

find -H ./ -maxdepth 1 -nowarn -type f -name "*open*.gz" | awk -F '[_.]' '{dates[$3]++} END{for(d in dates) printf "%s ", d; print ""}'

• -F '[_.]'将分隔符设为_或.，直接提取第3个字段作为日期
• 数组dates自动统计日期出现次数，实现去重
• END块遍历数组，用空格分隔输出所有唯一日期，最后补充换行

内容的提问来源于stack exchange，提问作者Alexandra