如何在subprocess中通过f-string传递变量运行awk命令

原始代码存在的问题 #

• 变量名冲突+冗余操作：外层with open(file, 'w') as file完全多余，而且file变量未提前定义，还和循环里的遍历变量重名，直接会触发报错，根本跑不起来。
• awk变量传递错误：直接把{date}插到awk命令里，awk会把它当表达式计算，比如date="2024-05-20"会被解析成2024-05-20的减法运算，结果变成1999，不是你要的日期字符串。
• subprocess执行位置错误：subprocess.run放在循环外面，只会执行最后一次循环生成的命令，前面的文件根本不会被处理。
• 引号转义混乱：原命令里的引号转义逻辑容易出错，导致awk语法报错。

修复后的代码 #

import glob
import subprocess

# 假设你的date和new_file变量已提前定义
date = "2024-05-20"
new_file = "merged_dailyusage.csv"

for file in glob.glob('*-ec2-*_dailyusage.json.csv'):
    # 优化引号写法，把date用双引号包裹，确保awk识别为字符串
    command = f"awk '{{print \"{date}\", \",\", $0}}' \"{file}\" >> \"{new_file}\""
    # 将subprocess放到循环内部，每个文件都执行一次命令
    subprocess.run(command, shell=True, check=True)

更安全的写法（避免shell=True） #

如果不想用shell=True（规避shell注入风险），可以让Python负责追加写入操作，awk仅处理内容：

import glob
import subprocess

date = "2024-05-20"
new_file = "merged_dailyusage.csv"

# 用Python打开输出文件，循环写入每个awk的处理结果
with open(new_file, 'a', encoding='utf-8') as out_file:
    for file in glob.glob('*-ec2-*_dailyusage.json.csv'):
        # 把awk命令拆分为列表形式，无需shell解析
        awk_command = ["awk", f'print "{date}", ",", $0', file]
        subprocess.run(awk_command, stdout=out_file, check=True)

内容的提问来源于stack exchange，提问作者Jordan Mersha