如何使用jq编写批处理脚本:筛选含指定event值的JSON文件并转存为有效JSON
实现方法
不用单独在批处理层写逐文件判断的逻辑,直接把筛选条件合并到你已经在用的jq命令里就行。既满足筛选要求,又能直接输出符合格式要求的合法JSON,处理效率比批处理逐行读文件匹配高很多,适配你手里几十万行大JSON文件的场景。
可直接运行的批处理代码
@echo off :: 定义输出根目录 set "output_dir=C:\Users\me\my-folder" :: 首次运行自动创建输出目录,避免路径不存在报错 if not exist "%output_dir%" mkdir "%output_dir%" :: 递归遍历当前目录及所有子目录下的JSON文件 :: 如需匹配所有json开头的后缀(如.jsonl、.jsonc),将*.json替换为*.json*即可和原命令范围保持一致 for /r %%f in (*.json) do ( :: jq处理逻辑: :: -s 参数:把文件内所有独立JSON片段解析为一个数组,生成跨平台可读取的合法JSON格式 :: select判断:只要数组内任意一条记录的event字段值为abcd123,就保留整个数组;无匹配则输出空内容 jq -s --arg target "abcd123" 'select(any(.[]; .event == $target))' "%%f" > "%output_dir%\%%~nxf.json" :: 清理无匹配时生成的0字节空文件 for %%a in ("%output_dir%\%%~nxf.json") do if %%~za equ 0 del "%%~a" )
匹配规则适配验证
这套逻辑可以完全覆盖你提出的匹配要求:
- 符合选中场景:只要文件内任意一条JSON记录的
event字段值为abcd123,就会被完整转存。哪怕同文件里混有其他event值的记录(比如你举的例子里同时存在abcd123和8745LLL的event,只要有一条匹配就会保留整个文件内容) - 符合排除场景:如果文件里所有记录的event值都不等于
abcd123,jq不会输出有效内容,生成的0字节空文件会被自动删掉,不会在输出目录留存无效文件。
对原有命令的优化修正
- 把你原来命令里的追加重定向
>>改成覆盖重定向>,避免重复跑脚本的时候,同一个文件的内容被反复追加,最后生成结构损坏的JSON - 所有匹配逻辑走jq的原生JSON解析,不会出现普通文本搜索时,把其他字段里出现的
abcd123误判为匹配的问题 - 加入了输出目录的自动创建逻辑,第一次跑脚本的时候不会因为路径不存在报错
内容的提问来源于stack exchange,提问作者Sara
相关产品推荐
相关产品推荐

