Bash循环中使用变量与SED修改SQL查询的问题排查与解决

原脚本内容 #

while IFS= read -r job_name;
do
job_id="$(echo $job_name | cut -c2-5)"
job_set_id="$(echo $job_name | cut -d '_' -f 1)"

sed -i 's/++++TABLE_NAME++++/'${table_name}'/g' | 
echo "
INSERT INTO ++++TABLE_NAME++++
SELECT '$job_id' as job_id, '$job_set_id' as job_set_id from
++++SOURCE_TABLE_NAME+++++;" >>final_output.txt
done < abc.txt

输入文件abc.txt内容 #

p1234_job_run
p2345_job_run

期望输出final_output.txt #

INSERT INTO ${table_name}
SELECT '1234' as job_id, 'p1234' as job_set_id from
${source_table_name}

INSERT INTO ${table_name}
SELECT '2345' as job_id, 'p2345' as job_set_id from
${source_table_name}

实际问题 #

• 初始脚本未完成占位符的变量替换
• 修改后出现错误：sed: no input files

错误原因分析 #

1. SED参数使用错误：

   • -i选项是用于直接修改实体文件的内容，但你既没给SED指定输入文件，又试图通过管道传递echo的输出。-i模式下SED无法处理管道输入，直接触发"无输入文件"的报错。
   • 原脚本中管道连接SED和echo的逻辑完全错误：echo的输出根本没被SED处理，SED空转报错，echo直接把未替换的模板内容写入文件，导致变量替换失效。

2. 逻辑顺序错误：

   • 你想要替换的是echo输出的模板字符串里的占位符，但原脚本中SED的执行和echo的输出完全脱节，没有对模板内容做任何处理。

正确实现方法 #

不需要复杂的SED文件操作，直接处理echo输出的模板内容即可，以下是两种简洁的可行方案：

方案1：用SED处理管道输入（移除-i选项） #

while IFS= read -r job_name; do
    job_id="$(echo "$job_name" | cut -c2-5)"
    job_set_id="$(echo "$job_name" | cut -d '_' -f 1)"
    
    # 将echo输出的模板传给SED，替换所有占位符后写入文件
    echo "
INSERT INTO ++++TABLE_NAME++++
SELECT '$job_id' as job_id, '$job_set_id' as job_set_id from
++++SOURCE_TABLE_NAME+++++;" | sed -e "s/++++TABLE_NAME++++/${table_name}/g" -e "s/++++SOURCE_TABLE_NAME+++++/${source_table_name}/g" >> final_output.txt
done < abc.txt

方案2：用Bash内置字符串替换（避免子进程开销） #

# 预先定义SQL模板
sql_template="INSERT INTO ++++TABLE_NAME++++
SELECT '__JOB_ID__' as job_id, '__JOB_SET_ID__' as job_set_id from
++++SOURCE_TABLE_NAME+++++;"

while IFS= read -r job_name; do
    # 用Bash内置截取替代cut命令，更高效
    job_id="${job_name:1:4}"
    job_set_id="${job_name%%_*}"
    
    # 逐步替换模板中的所有占位符
    temp="${sql_template//++++TABLE_NAME++++/${table_name}}"
    temp="${temp//++++SOURCE_TABLE_NAME+++++/${source_table_name}}"
    temp="${temp//__JOB_ID__/${job_id}}"
    temp="${temp//__JOB_SET_ID__/${job_set_id}}"
    
    echo "$temp" >> final_output.txt
done < abc.txt

关键说明 #

• 所有变量引用加上双引号，避免空格、特殊字符导致的解析错误。
• 方案2用Bash内置的字符串截取和替换功能，减少子进程调用，执行效率更高。

内容的提问来源于stack exchange，提问作者nmr