Linux脚本需求：实现主数据文件填充模板文件功能

我来帮你搞定这个主数据填充模板的需求，先梳理下场景和问题，再给你几个高效实用的实现方案：

场景与需求回顾 #

场景说明：存在两个输入文件——主数据文件（制表符分隔的TXT文件）与模板文件。
主数据文件内容示例（每行含两个制表符分隔字段）：

abc	paris
xyz	london
jkl	dubai

需求目标：生成由主数据文件内容填充模板后的输出文件。

现有脚本的问题分析 #

你给出的现有脚本虽然能拆分字段，但存在几个明显的短板：

• 使用for line in $(cat $inputdir/$1)遍历行，会把行内的空格也当成分隔符，一旦字段包含空格就会出错
• 每次循环调用两次awk，频繁启动进程会导致处理大文件时效率极低
• 核心的模板填充逻辑完全缺失，只是打印了拆分后的字段

最优实现方案 #

下面根据不同的模板类型，给出几种高效的实现：

方案1：简单单行模板（read循环 + sed，易读易维护）

假设你的模板文件template.txt内容是这样的单行格式：

Hello, I'm {{NAME}} and I live in {{PLACE}}.

用read安全读取每行，配合sed替换占位符：

inputdir="/home/InputFile"
template_file="$inputdir/template.txt"
# 一次性读取模板内容，避免重复IO
template_content=$(cat "$template_file")

# 用IFS指定制表符为分隔符，read -r避免转义字符干扰
while IFS=$'\t' read -r name place; do
    # 跳过空行或格式错误的行
    [[ -z "$name" || -z "$place" ]] && continue
    # 替换模板中的占位符并输出到结果文件
    echo "$template_content" | sed "s/{{NAME}}/$name/g; s/{{PLACE}}/$place/g"
done < "$inputdir/$1" > "$inputdir/output.txt"

方案2：大文件/高效处理首选（awk单进程处理）

如果你的主数据文件很大，awk的单进程处理会比bash循环高效得多。同样适配单行模板：

inputdir="/home/InputFile"
template=$(cat "$inputdir/template.txt")

awk -v template="$template" -F'\t' '
    BEGIN {
        # 预定义占位符正则
        name_placeholder = "{{NAME}}"
        place_placeholder = "{{PLACE}}"
    }
    # 只处理有两个有效字段的行
    NF == 2 {
        result = template
        # 替换占位符
        gsub(name_placeholder, $1, result)
        gsub(place_placeholder, $2, result)
        print result
    }
' "$inputdir/$1" > "$inputdir/output.txt"

方案3：多行模板适配（awk读取模板+数据）

如果你的模板是多行的（比如邮件模板），可以让awk先读取模板内容，再批量处理数据：
假设模板文件template.txt是这样的多行内容：

Name: {{NAME}}
Location: {{PLACE}}
------------------------

对应的awk实现：

inputdir="/home/InputFile"

awk -F'\t' '
    # 第一步：读取模板文件，把每一行存储到数组中
    NR == FNR {
        template_lines[NR] = $0
        total_lines = NR
        next
    }
    # 第二步：处理主数据文件的每一行
    NF == 2 {
        # 遍历模板的每一行，替换占位符后输出
        for (i=1; i<=total_lines; i++) {
            current_line = template_lines[i]
            gsub("{{NAME}}", $1, current_line)
            gsub("{{PLACE}}", $2, current_line)
            print current_line
        }
    }
' "$inputdir/template.txt" "$inputdir/$1" > "$inputdir/output.txt"

方案选择建议 #

• 小文件、简单模板：选方案1，代码直观，容易修改维护
• 大文件、追求效率：选方案2或3，awk的单进程处理能大幅减少开销
• 多行复杂模板：选方案3，完美适配多行内容的填充需求

内容的提问来源于stack exchange，提问作者Param V