如何用JavaScript/jQuery低内存消耗搜索JSONL文件指定ID行？

我从API获取了如下JSONL格式的数据：

{"id":"gid:\/\/shopify\/ProductVariant\/32620848382088","__parentId":"gid:\/\/shopify\/Product\/4632300847240"}
{"id":"gid:\/\/shopify\/Product\/4632300912776"}
{"namespace":"daily_deals","key":"status","value":"inactive","__parentId":"gid:\/\/shopify\/Product\/4632300912776"}
{"namespace":"daily_deals","key":"endtime","value":"1604966400000","__parentId":"gid:\/\/shopify\/Product\/4632300912776"}
{"id":"gid:\/\/shopify\/ProductVariant\/32620848447624","__parentId":"gid:\/\/shopify\/Product\/4632300912776"}
{"id":"gid:\/\/shopify\/Product\/4632301011080"}
{"namespace":"daily_deals","key":"status","value":"inactive","__parentId":"gid:\/\/shopify\/Product\/4632301011080"}
{"namespace":"daily_deals","key":"endtime","value":"1604966400000","__parentId":"gid:\/\/shopify\/Product\/4632301011080"}
{"id":"gid:\/\/shopify\/ProductVariant\/32620848808072","__parentId":"gid:\/\/shopify\/Product\/4632301011080"}
{"id":"gid:\/\/shopify\/ProductVariant\/39402297720968","__parentId":"gid:\/\/shopify\/Product\/4632301011080"}
{"id":"gid:\/\/shopify\/Product\/4673135444104"}

我从其他渠道获取了产品ID，需要在该JSONL文件中查找包含该ID的行。请问如何以最低内存消耗实现这一需求？是否需要加载整个JSONL文件并转换为JSON后再搜索，还是有更优的方法？

要实现最低内存消耗的搜索，绝对不要加载整个文件到内存或全量解析JSON，最优方案是按行读取、逐行匹配，具体思路如下：

核心思路 #

JSONL是每行一个独立JSON结构，因此可以采用逐行处理的方式：

• 打开文件后，每次仅读取一行内容到内存
• 直接在该行文本中搜索目标产品ID（无需解析成JSON对象）
• 匹配到目标ID则保留该行，否则丢弃该行并继续处理下一行

这种方式的内存消耗极低——始终只占用单行文本的内存空间，完全不受文件大小影响。

为什么不解析JSON？ #

解析JSON会额外消耗CPU和内存资源，而你的需求仅为查找包含目标ID的行，不需要提取或操作JSON字段。直接文本匹配已经足够精准：

• 目标ID只会出现在"id":"xxx"或"__parentId":"xxx"的结构中，只要搜索完整的ID字符串（如gid://shopify/Product/4632300912776），不会出现误匹配。

示例代码（Python） #

target_id = "gid://shopify/Product/4632300912776"

with open("data.jsonl", "r") as f:
    for line in f:
        # 直接在文本行中搜索目标ID
        if target_id in line:
            print(line.strip())

进阶优化（可选） #

如果仅持有纯数字形式的产品ID（如4632300912776），可以构造正则表达式进行精准匹配，避免无关数字的干扰：

import re

target_product_num = "4632300912776"
# 精准匹配id或__parentId字段中包含目标数字ID的行
pattern = re.compile(r'"(?:id|__parentId)":"gid:\/\/shopify\/(?:Product|ProductVariant)\/' + re.escape(target_product_num) + '"')

with open("data.jsonl", "r") as f:
    for line in f:
        if pattern.search(line):
            print(line.strip())

内容的提问来源于stack exchange，提问作者Aleks Per