基于列唯一值比例对超大CSV抽样的效率优化咨询

你的实现逻辑在业务规则上完全成立，小体积CSV场景下可以正常输出正确结果，但面对100GB级大文件时存在大量不必要的性能开销，是导致运行缓慢的核心原因。

• 全量排序开销极高：第一步使用sort | uniq做去重时，sort需要对全量第11列数据做外排，会产生大量临时磁盘读写，是整个流程最大的性能损耗点
• 重复读盘次数多：原流程需要完整读取3次100GB的源文件，大文件场景下磁盘IO本身就是瓶颈，重复读取会成倍拉长耗时
• 冗余操作多：所有开头的cat 文件名 | 命令属于无用管道，会额外创建进程增加传输开销；第三步awk中把抽样值整行存入数组的操作完全多余，平白增加内存占用
• 中间文件冗余：先存全量唯一值、再读全量唯一值抽样的流程，产生了不必要的磁盘写入和读取开销

快速优化（不改变原有流程结构，性能提升30%+） #

只需要去掉冗余操作，不需要调整逻辑即可获得明显提速，优化后代码如下：

# 1. 去掉cat管道，用sort -u替代sort|uniq减少一次管道传输
cut -f11 -d, File1.csv | sort -u > uniqueValues.txt
# 2. 去掉cat管道直接读文件
awk 'BEGIN {srand()} !/^$/ { if (rand() <= 0.1) print $0}' uniqueValues.txt > uniqueValues.10pct.txt
# 3. 数组只存存在性标记，不存整行内容减少内存开销，省略冗余的print动作
awk -F, 'NR==FNR{a[$1]=1;next} $11 in a' uniqueValues.10pct.txt File1.csv > File1_subsample.csv

进阶优化（针对100GB级大文件，性能较原流程提升3~10倍） #

核心思路是去掉完全不必要的全量排序操作，合并重复步骤，把全流程对源文件的读取次数从3次降到2次，砍掉所有无用的中间文件读写：

1. 用awk哈希去重替代sort排序去重：提取唯一值完全不需要排序结果，awk单遍遍历构建哈希表即可完成去重，速度远高于外排排序
2. 合并提取唯一值、抽样两个步骤：不需要把全量唯一值写入磁盘，在第一次遍历去重时直接完成10%随机抽样，直接输出抽样后的键列表，省掉全量唯一值文件的读写开销

优化后代码如下：

# 第一次遍历源文件：直接提取非空唯一值，同步完成10%随机抽样，无排序、无全量唯一值中间文件
awk -F, '
BEGIN {srand()}
$11 != "" && !seen[$11]++ {
    if (rand() <= 0.1) print $11
}' File1.csv > uniqueValues.10pct.txt
# 第二次遍历源文件：匹配抽样值输出子样本，和原逻辑一致
awk -F, 'NR==FNR{sample[$1]=1;next} $11 in sample' uniqueValues.10pct.txt File1.csv > File1_subsample.csv

注意：如果你的CSV存在引号包裹的含逗号字段（例如"value,with,comma",123这类符合CSV规范但字段内嵌逗号的内容），直接用逗号做分隔符的cut/awk会出现解析错误，这种场景需要使用支持标准CSV格式的解析工具处理，不要直接按逗号切分。

如果你的服务器内存足够（第11列唯一值数量在1亿以内，通常内存占用不超过8GB），甚至可以把两次遍历合并成一次，在第一次遍历的时候直接完成去重、抽样、行筛选三个动作，只需要读1次源文件，速度还能再提升一倍，但要注意内存溢出风险，100GB场景下两次遍历的方案稳定性更高。

内容的提问来源于stack exchange，提问作者RunagateRampant