You need to enable JavaScript to run this app. 使用jq转换IMDb TSV为JSON:解决内存溢出、分页拆分与空值处理问题
优惠活动
大模型
产品
解决方案
定价
更多

使用jq转换IMDb TSV为JSON:解决内存溢出、分页拆分与空值处理问题

大尺寸IMDb TSV分块转JSON实现方案

原有转换命令因为用了jq -Rs全量加载整个文件到内存,处理GB级TSV文件时必然会触发内存溢出,以下方案完全基于流式逐行处理实现,内存占用极低,可满足1000条/文件的分块输出要求。

转换逻辑说明

你之前已经验证过的\N值转空数组的清洗逻辑可以完全复用,仅需要调整处理模式,从“全量读入-整体转换”改成“逐行读入-单条转换”,从根源降低内存占用。

可直接运行的实现脚本

把以下脚本保存为convert.sh,添加执行权限后即可运行:

#!/bin/bash
# 配置参数:分块大小为1000条
CHUNK_SIZE=1000
INPUT_FILE="./title.crew.tsv"
OUTPUT_PREFIX="./title.crew.page"

# 初始化状态变量
line_counter=0
page_index=1
record_buffer=""

# 流式调用jq逐行转换,不缓存全量数据
jq -R --unbuffered '
    # 跳过文件第一行表头
    if input_line_number == 1 then
        empty
    else
        # 按TSV制表符拆分每行字段
        split("\t") as $row
        # 字段清洗:值为\N则转空数组,其他值按逗号拆分多ID
        | ($row[1] | if . == "\\N" then [] else split(",") end) as $directors
        | ($row[2] | if . == "\\N" then [] else split(",") end) as $writers
        # 输出单条紧凑格式的JSON记录
        | {
            "tconst": $row[0],
            "directors": $directors,
            "writers": $writers
          } | tojson
    end
' "$INPUT_FILE" | while IFS= read -r record; do
    # 把单条记录追加到缓冲区
    if [ -n "$record_buffer" ]; then
        record_buffer="$record_buffer,
$record"
    else
        record_buffer="$record"
    fi
    # 计数累加
    line_counter=$((line_counter + 1))
    # 攒够分块大小就写入对应文件
    if [ "$line_counter" -eq "$CHUNK_SIZE" ]; then
        echo "[
$record_buffer
]" > "${OUTPUT_PREFIX}${page_index}.json"
        # 重置状态准备下一个分块
        line_counter=0
        page_index=$((page_index + 1))
        record_buffer=""
    fi
done

# 处理循环结束后,把剩余不足1000条的内容写入最后一个文件
if [ -n "$record_buffer" ]; then
    echo "[
$record_buffer
]" > "${OUTPUT_PREFIX}${page_index}.json"
fi

执行效果

  • 生成的文件完全符合命名规范:title.crew.page1.json、title.crew.page2.json……
  • 每个文件内是合法的JSON数组结构,单条记录的字段格式、\N值清洗规则和你之前验证通过的输出完全一致。
  • 处理过程中jq全程逐行读取输入,不会把整个TSV文件加载到内存,哪怕处理10GB级别的TSV文件,内存占用也能控制在100MB以内,不会触发OOM报错。

内容的提问来源于stack exchange,提问作者Rick

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.05 04:45:04