使用jq转换IMDb TSV为JSON:解决内存溢出、分页拆分与空值处理问题
大尺寸IMDb TSV分块转JSON实现方案
原有转换命令因为用了jq -Rs全量加载整个文件到内存,处理GB级TSV文件时必然会触发内存溢出,以下方案完全基于流式逐行处理实现,内存占用极低,可满足1000条/文件的分块输出要求。
转换逻辑说明
你之前已经验证过的\N值转空数组的清洗逻辑可以完全复用,仅需要调整处理模式,从“全量读入-整体转换”改成“逐行读入-单条转换”,从根源降低内存占用。
可直接运行的实现脚本
把以下脚本保存为convert.sh,添加执行权限后即可运行:
#!/bin/bash # 配置参数:分块大小为1000条 CHUNK_SIZE=1000 INPUT_FILE="./title.crew.tsv" OUTPUT_PREFIX="./title.crew.page" # 初始化状态变量 line_counter=0 page_index=1 record_buffer="" # 流式调用jq逐行转换,不缓存全量数据 jq -R --unbuffered ' # 跳过文件第一行表头 if input_line_number == 1 then empty else # 按TSV制表符拆分每行字段 split("\t") as $row # 字段清洗:值为\N则转空数组,其他值按逗号拆分多ID | ($row[1] | if . == "\\N" then [] else split(",") end) as $directors | ($row[2] | if . == "\\N" then [] else split(",") end) as $writers # 输出单条紧凑格式的JSON记录 | { "tconst": $row[0], "directors": $directors, "writers": $writers } | tojson end ' "$INPUT_FILE" | while IFS= read -r record; do # 把单条记录追加到缓冲区 if [ -n "$record_buffer" ]; then record_buffer="$record_buffer, $record" else record_buffer="$record" fi # 计数累加 line_counter=$((line_counter + 1)) # 攒够分块大小就写入对应文件 if [ "$line_counter" -eq "$CHUNK_SIZE" ]; then echo "[ $record_buffer ]" > "${OUTPUT_PREFIX}${page_index}.json" # 重置状态准备下一个分块 line_counter=0 page_index=$((page_index + 1)) record_buffer="" fi done # 处理循环结束后,把剩余不足1000条的内容写入最后一个文件 if [ -n "$record_buffer" ]; then echo "[ $record_buffer ]" > "${OUTPUT_PREFIX}${page_index}.json" fi
执行效果
- 生成的文件完全符合命名规范:
title.crew.page1.json、title.crew.page2.json…… - 每个文件内是合法的JSON数组结构,单条记录的字段格式、
\N值清洗规则和你之前验证通过的输出完全一致。 - 处理过程中jq全程逐行读取输入,不会把整个TSV文件加载到内存,哪怕处理10GB级别的TSV文件,内存占用也能控制在100MB以内,不会触发OOM报错。
内容的提问来源于stack exchange,提问作者Rick
相关产品推荐
相关产品推荐

