You need to enable JavaScript to run this app. 无SQL场景下仅用Bash关联psql导出数据实现指定格式汇总
优惠活动
大模型
产品
解决方案
定价
更多

无SQL场景下仅用Bash关联psql导出数据实现指定格式汇总

纯Bash实现多源关联聚合方案

为什么此前用paste无法得到正确结果

paste的核心能力是把多个输入流按物理行位置直接拼接,不具备跨数据源的公共键匹配、分组聚合逻辑。如果直接把独立的数字-字母映射源、文件路径列表硬按行拼接,会完全打乱原有的键值对应关系,自然无法实现关联效果。

核心实现逻辑

依托Bash内置的关联数组(Bash 4+版本支持),分别存储两类映射关系,最终按初始数字序列顺序输出目标格式:

  • 将从psql获取的同位置数字、字母序列,转换为「数字键→对应字母」的映射表
  • 遍历所有「数字/后缀」格式的路径条目,拆分出数字键和后缀内容,按数字键分组收集后缀
  • 严格按照初始数字序列的顺序,输出指定格式的汇总结果

可直接运行的实现代码

前置准备

先将psql导出的两份单列序列、待处理的文件路径列表分别存为纯文本文件:

  • num_seq.txt:逐行存储数字序列,内容为1、2、3、4
  • alpha_seq.txt:逐行存储同位置的字母序列,内容为A、B、C、D
  • file_list.txt:逐行存储所有「数字/后缀」格式的路径条目,如样例的1/x、1/y、2/y等

核心代码

#!/bin/bash
# 初始化两个关联数组,分别存储两类映射关系
declare -A num_to_alpha num_to_suffix

# 1. 加载数字-字母映射:将两个同位置序列拼接为键值对写入数组
while read -r num alpha; do
    num_to_alpha["$num"]="$alpha"
done < <(paste -d' ' num_seq.txt alpha_seq.txt)

# 2. 遍历文件路径,按数字分组收集后缀
while read -r path; do
    # 按斜杠拆分路径,提取数字键和后缀内容
    num=${path%%/*}
    suffix=${path##*/}

    # 分组收集后缀,按需选择是否开启去重逻辑
    if [[ -n ${num_to_suffix[$num]} ]]; then
        # 需去重时使用如下判断逻辑
        if ! grep -qw "$suffix" <<< "${num_to_suffix[$num]}"; then
            num_to_suffix[$num]+=", $suffix"
        fi
        # 无需去重时直接追加即可:
        # num_to_suffix[$num]+=", $suffix"
    else
        num_to_suffix[$num]="$suffix"
    fi
done < file_list.txt

# 3. 按初始数字序列顺序输出目标格式
while read -r out_num; do
    printf "%s %s | %s\n" \
        "$out_num" \
        "${num_to_alpha[$out_num]}" \
        "${num_to_suffix[$out_num]}"
done < num_seq.txt

实现效果说明

代码运行后会严格按照初始数字序列的顺序输出,完全匹配目标格式要求。以给出的样例文件列表为例,实际输出为:

1 A | x, y
2 B | y, z
3 C | z
4 D | x, y, z

注:你提到的样例输出中“2 B | x, z”为测试笔误,实际结果会根据真实收集的后缀条目自动生成,如需调整后缀顺序可在收集阶段对列表按需排序。整个流程不引入任何SQL依赖,完全通过Bash内置能力完成关联汇总。


内容的提问来源于stack exchange,提问作者Ömer Taha Çam

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.17 14:45:01