将JSON中image字段替换为图片Base64编码的脚本问题求助

问题分析 #

1. 所有image字段Base64重复：脚本提前计算单张图片的Base64编码后全局替换，未逐个处理每个路径对应的文件。
2. Argument list too long错误：awk处理大文件或传递大内容作为参数时，触发系统命令行参数长度限制；或未采用流式处理方式，一次性加载过多数据。

推荐方案：用jq处理（更可靠，原生支持JSON） #

jq是专门的JSON处理工具，能精准定位image字段，逐个处理路径并生成对应Base64编码，同时避免参数过长问题。

脚本示例 #

假设输入JSON文件为data.json，输出处理后的文件为output.json：

jq '
  .[] |= (
    .image = (
      # 处理相对路径（若路径为绝对路径可删除此行）
      .image | if test("^/") then . else "./" + . end |
      # 构建base64命令并执行，-w 0避免编码换行
      ("base64 -w 0 " + @sh) |
      envsubst |
      @text |
      split("\n")[0]
    )
  )
' data.json > output.json

关键说明 #

• .[] |= 遍历JSON数组中的每个对象（若输入是单个JSON对象，改为. |=）
• @sh 自动转义路径中的空格、特殊字符，避免命令执行错误
• envsubst 执行构建的base64命令，获取对应文件的Base64编码
• 全程流式处理文件，无需一次性加载全部内容，彻底避免参数过长问题

备选方案：用awk处理（适合无jq环境） #

若无法使用jq，可修改awk脚本为逐行处理，对每个image路径单独生成Base64：

awk '
  # 定义函数：根据路径获取Base64编码
  function get_base64(path) {
    # 转义路径中的空格和特殊字符
    gsub(/[ \t\&\|]/, "\\\\&", path)
    cmd = "base64 -w 0 " path
    cmd | getline result
    close(cmd)
    return result
  }

  # 匹配image字段行
  /"image":/ {
    # 提取路径内容
    if (match($0, /"image": "(.*)"/, m)) {
      base64_str = get_base64(m[1])
      # 替换原路径为Base64编码
      sub(/"image": ".*"/, "\"image\": \"" base64_str "\"")
    }
  }

  # 打印所有行（含修改后的行）
  { print }
' data.json > output.json

关键说明 #

• 逐行读取文件，每次仅处理当前行的image字段，避免一次性传递大参数
• 手动转义路径中的特殊字符，防止命令执行失败
• 每次调用base64后关闭子进程，避免资源泄漏

内容的提问来源于stack exchange，提问作者Johannes Schober