如何在bash中批量合并JSON对象为单个数组并解决参数过长报错
报错原因
你遇到的Argument list too long报错是因为inventoryItem_*.json通配符展开后生成的文件名列表长度超过了shell允许的最大命令行参数限制,该限制是系统内核层面的规则,和ulimit调整的进程栈大小无关,因此修改ulimit不生效。
解决方案
两种适配Git Bash环境的可用方案如下:
方案1:find遍历合并(适配性最高,支持带特殊字符的文件名)
find . -maxdepth 1 -type f -name 'inventoryItem_*.json' -exec cat {} + | jq -s '.' > inventory_items_result_$(date +"%Y%m%d_%H%M%S").json
参数说明:
-maxdepth 1限定仅搜索当前目录,不会匹配子目录下的同名文件-type f仅匹配普通文件,排除目录等异常项-exec cat {} +会自动把匹配到的文件分批传给cat命令输出所有JSON内容,避免参数过长- 管道后的
jq -s '.'和你原本的逻辑一致,将所有输入的JSON对象合并为一个数组
方案2:内置printf + xargs(写法更简洁)
printf '%s\0' inventoryItem_*.json | xargs -0 cat | jq -s '.' > inventory_items_result_$(date +"%Y%m%d_%H%M%S").json
逻辑说明:printf是shell内置命令,不受命令行参数长度限制,可以正常展开所有匹配的文件名,通过空字符分隔传递给xargs后分批处理,后续逻辑和方案1一致。
内容的提问来源于stack exchange,提问作者Kedar Javalkar
相关产品推荐
相关产品推荐

