如何不加载整个CSV文件即可提取随机行，解决大文件打开内存不足问题

为什么16G内存打不开4G CSV？普通办公软件（Excel、记事本等）打开CSV时，会额外存储单元格格式、索引、类型转换等中间数据，实际内存占用通常是文件本身大小的3-5倍，加上系统预留内存、其他进程占用，很容易触发内存不足的提示，仅做采样完全不需要加载全量文件。

方法1：命令行快速采样（全平台通用，无额外软件依赖） #

• macOS/Linux直接打开终端，Windows可以用WSL或者Git Bash运行以下命令
• 如果你需要1000行采样结果（保留原表头），执行：

# 提取表头存入结果文件
head -n 1 你的文件名.csv > 采样结果.csv
# 从剩余内容随机抽999行追加到结果文件，修改-n后的数值可调整采样量
tail -n +2 你的文件名.csv | shuf -n 999 >> 采样结果.csv

• 该方法全程内存占用不超过10MB，单文件4GB的情况下通常10秒内就能完成采样。

方法2：Python脚本采样（适合需要直接联动可视化的场景） #

可以用分块读取或随机跳行逻辑，全程不加载全量文件：

import pandas as pd
import random

# 配置采样行数
sample_count = 1000
# 第一步：仅统计文件总行数，不会加载全量内容
with open("你的文件名.csv", "r", encoding="utf-8") as f:
    total_line = sum(1 for _ in f) - 1  # 减去表头行
# 第二步：生成要跳过的行号，仅加载选中的行
skip_rows = random.sample(range(1, total_line + 1), total_line - sample_count)
df = pd.read_csv("你的文件名.csv", skiprows=skip_rows)

# 后续可以直接用df做可视化，也可以导出为小文件
df.to_csv("采样结果.csv", index=False)

• 上述代码内存占用仅和你采样的行数有关，哪怕采样10万行也只会占用几十MB内存。

方法3：无代码工具采样 #

如果不想敲命令或写代码，可以安装支持大文件流式读取的文本工具（比如EmEditor），这类工具不会把全量文件加载到内存，打开后直接用内置的随机行提取功能导出需要的样本即可。

内容的提问来源于stack exchange，提问作者SEC