百万行级文本数据高效遍历与按属性分表方案选型咨询

针对百万行级三元组文本按属性拆分子表的需求，核心选型结论如下：

• 最优基础数据结构：defaultdict 字典，键为属性名，值存储对应(subject, value)二元组列表，分组过程时间复杂度O(n)，无额外冗余开销
• 不推荐pandas：全量加载时的类型推断、索引构建会带来大量无意义开销，内存占用高、处理速度慢

零依赖高性能实现（推荐优先用） #

直接用Python标准库即可，百万行数据处理耗时通常在1秒内，支持流式读取不占内存，还能自动处理value带空格的场景（比如示例里的golden retriever）：

from collections import defaultdict

# 初始化分组容器
property_map = defaultdict(list)

# 逐行流式读取，不会一次性把全量文件载入内存，支持GB级大文件
with open("your_file.txt", "r", encoding="utf-8") as f:
    for line in f:
        line = line.strip()
        if not line:
            continue
        # 移除行尾的. 后最多拆分2次，避免value里的空格被误拆分
        parts = line.rstrip(" .").split(maxsplit=2)
        if len(parts) != 3:
            continue  # 跳过格式异常行
        subj, prop, val = parts
        property_map[prop].append( (subj, val) )

# 按需要输出/落盘即可
for prop, rows in property_map.items():
    print(f"\n{prop}\n")
    for s, v in rows:
        print(f"{s} {v}")

超大规模数据可选方案 #

如果数据量达到千万级以上，且拆分后还需要做过滤、关联等结构化计算，可以用Polars替代pandas：它基于Rust开发、采用惰性列式计算，分组处理速度比pandas快5_{50倍，内存占用仅为pandas的1/5}1/10，示例代码：

import polars as pl

# 惰性加载文件，不做全量内存读取
df = pl.scan_csv(
    "your_file.txt",
    separator=" ",
    has_header=False,
).select(
    subject = pl.col("column_1"),
    property = pl.col("column_2"),
    value = pl.col("column_3")
).filter(
    pl.col("subject").is_not_null()
)

# 按属性分组，返回字典结构和前面的defaultdict完全兼容
grouped_tables = df.collect().partition_by("property", as_dict=True)

选型建议 #

• 仅做拆分落盘、无后续复杂计算：直接用标准库方案，零依赖、调试简单、性能够用
• 拆分后需要做大量结构化数据处理：选Polars，不要用pandas

内容的提问来源于stack exchange，提问作者kklaw