无SQL场景下仅用Bash关联psql导出数据实现指定格式汇总
纯Bash实现多源关联聚合方案
为什么此前用paste无法得到正确结果
paste的核心能力是把多个输入流按物理行位置直接拼接,不具备跨数据源的公共键匹配、分组聚合逻辑。如果直接把独立的数字-字母映射源、文件路径列表硬按行拼接,会完全打乱原有的键值对应关系,自然无法实现关联效果。
核心实现逻辑
依托Bash内置的关联数组(Bash 4+版本支持),分别存储两类映射关系,最终按初始数字序列顺序输出目标格式:
- 将从psql获取的同位置数字、字母序列,转换为「数字键→对应字母」的映射表
- 遍历所有「数字/后缀」格式的路径条目,拆分出数字键和后缀内容,按数字键分组收集后缀
- 严格按照初始数字序列的顺序,输出指定格式的汇总结果
可直接运行的实现代码
前置准备
先将psql导出的两份单列序列、待处理的文件路径列表分别存为纯文本文件:
num_seq.txt:逐行存储数字序列,内容为1、2、3、4alpha_seq.txt:逐行存储同位置的字母序列,内容为A、B、C、Dfile_list.txt:逐行存储所有「数字/后缀」格式的路径条目,如样例的1/x、1/y、2/y等
核心代码
#!/bin/bash # 初始化两个关联数组,分别存储两类映射关系 declare -A num_to_alpha num_to_suffix # 1. 加载数字-字母映射:将两个同位置序列拼接为键值对写入数组 while read -r num alpha; do num_to_alpha["$num"]="$alpha" done < <(paste -d' ' num_seq.txt alpha_seq.txt) # 2. 遍历文件路径,按数字分组收集后缀 while read -r path; do # 按斜杠拆分路径,提取数字键和后缀内容 num=${path%%/*} suffix=${path##*/} # 分组收集后缀,按需选择是否开启去重逻辑 if [[ -n ${num_to_suffix[$num]} ]]; then # 需去重时使用如下判断逻辑 if ! grep -qw "$suffix" <<< "${num_to_suffix[$num]}"; then num_to_suffix[$num]+=", $suffix" fi # 无需去重时直接追加即可: # num_to_suffix[$num]+=", $suffix" else num_to_suffix[$num]="$suffix" fi done < file_list.txt # 3. 按初始数字序列顺序输出目标格式 while read -r out_num; do printf "%s %s | %s\n" \ "$out_num" \ "${num_to_alpha[$out_num]}" \ "${num_to_suffix[$out_num]}" done < num_seq.txt
实现效果说明
代码运行后会严格按照初始数字序列的顺序输出,完全匹配目标格式要求。以给出的样例文件列表为例,实际输出为:
1 A | x, y 2 B | y, z 3 C | z 4 D | x, y, z
注:你提到的样例输出中“2 B | x, z”为测试笔误,实际结果会根据真实收集的后缀条目自动生成,如需调整后缀顺序可在收集阶段对列表按需排序。整个流程不引入任何SQL依赖,完全通过Bash内置能力完成关联汇总。
内容的提问来源于stack exchange,提问作者Ömer Taha Çam
相关产品推荐
相关产品推荐

