Shell脚本中如何检查逗号分隔参数是否为PostgreSQL表列值的子集

原方案存在几个明显的不足：

• 会拉取users表的所有ID到本地，当表数据量大时，会占用大量内存和网络带宽
• 循环中每次调用grep属于多进程开销，效率低下
• 如果ID包含正则元字符（如.、*、?），grep的正则匹配会出错，导致判断错误
• 逻辑方向错误：原代码是检查数据库的ID是否在输入里，但需求是验证输入的ID是否全在数据库中

以下是几种更优的实现方案：

方案1：让数据库完成核心校验（推荐，效率最高） #

把输入的ID转换成PostgreSQL的IN列表，直接查询数据库中存在的ID数量，和输入的ID总数对比。如果数量一致，说明所有输入ID都有效；否则存在无效ID。

ARGUMENTS="value1,value2,value3"
# 把逗号分隔的ID转成PostgreSQL的IN参数格式
IN_LIST=$(echo "$ARGUMENTS" | sed "s/,/','/g" | sed "s/^/'/;s/$/'/")
# 查询输入中存在的ID数量
MATCH_COUNT=$(psql -U username -d database_name -t -c "SELECT COUNT(*) FROM users WHERE id IN ($IN_LIST);")
# 统计输入的ID总数
INPUT_COUNT=$(echo "$ARGUMENTS" | tr ',' '\n' | wc -l)

if [ "$(echo "$MATCH_COUNT" | xargs)" -eq "$INPUT_COUNT" ]; then
    echo "所有输入ID均有效"
else
    echo "存在无效的输入ID"
fi

方案2：找出具体的无效ID（需要定位问题时用） #

如果需要明确知道哪些ID不存在，可以用PostgreSQL的unnest函数把输入ID转成行，再和users表左连接，筛选出未匹配的ID：

ARGUMENTS="value1,value2,value3"
# 生成查询语句，找出无效ID
INVALID_IDS=$(psql -U username -d database_name -t -c "
    SELECT input_id FROM (
        SELECT unnest(string_to_array('$ARGUMENTS', ',')) AS input_id
    ) AS input_ids
    LEFT JOIN users ON users.id = input_ids.input_id
    WHERE users.id IS NULL;
")

if [ -z "$(echo "$INVALID_IDS" | xargs)" ]; then
    echo "所有输入ID均有效"
else
    echo "无效ID列表：$INVALID_IDS"
fi

方案3：本地优化（适合数据库ID量较小的场景） #

如果必须在本地处理，用bash的关联数组（哈希表）存储数据库的ID，然后遍历输入ID检查，避免多次grep的开销：

ARGUMENTS="value1,value2,value3"
# 读取数据库所有ID到关联数组
declare -A VALID_IDS
while read -r id; do
    id=$(echo "$id" | xargs) # 去除前后空格
    [ -n "$id" ] && VALID_IDS["$id"]=1
done < <(psql -U username -d database_name -t -c "SELECT id FROM users;")

# 遍历输入ID检查
IFS=',' read -ra INPUT_IDS <<< "$ARGUMENTS"
INVALID=()
for id in "${INPUT_IDS[@]}"; do
    if [ -z "${VALID_IDS["$id"]}" ]; then
        INVALID+=("$id")
    fi
done

if [ ${#INVALID[@]} -eq 0 ]; then
    echo "所有输入ID均有效"
else
    echo "无效ID：${INVALID[*]}"
fi

内容的提问来源于stack exchange，提问作者adarsh1699