Windows环境下用R data.table fread按第三列高效筛选行

我有一个大型CSV数据集，想通过R中data.table包的fread()函数的cmd参数做预处理，筛选第三列符合条件的行。目前用以下代码能实现需求，但运行速度太慢：

fread(cmd='findstr /r "^.*,.*,4[0-9]," data.csv')

希望能让findstr或同类工具只针对第三列做判断，减少不必要的计算，提升处理效率。以下是最小可复现示例：

library(data.table)

data <- data.frame(
  "A" = c(11, 33, 34, 11),
  "B" = c("aaa","bbb","ccc","ddd"),
  "C" = c(13,45,46,57),
  "D" = c(1,2,3,4)
)

# 写入CSV文件
write.csv(data, "data.csv", row.names=FALSE)

# 读取完整文件
fread("data.csv")
#>     A   B  C D
#> 1: 11 aaa 13 1
#> 2: 33 bbb 45 2
#> 3: 34 ccc 46 3
#> 4: 11 ddd 57 4

# 基于第一列筛选（高效）
fread(cmd='findstr /r "^3[0-9]" data.csv')
#>    V1  V2 V3 V4
#> 1: 33 bbb 45  2
#> 2: 34 ccc 46  3

# 基于第三列筛选但需匹配前两列（可用但速度慢）
fread(cmd='findstr /r "^.*,.*,4[0-9]," data.csv')
#>    V1  V2 V3 V4
#> 1: 33 bbb 45  2
#> 2: 34 ccc 46  3

解决方案 #

方法1：优化findstr的正则表达式 #

原正则^.*,.*,4[0-9],用.*贪婪匹配前两列，会导致正则引擎大量回溯，效率低下。改用[^,]*匹配不含逗号的内容，能精准停在每列末尾，大幅减少计算量：

fread(cmd='findstr /r "^[^,]*,[^,]*,4[0-9]," data.csv')

方法2：用PowerShell替代findstr（Windows环境） #

PowerShell支持直接按列筛选，无需匹配前两列内容，适合Windows系统：

# 按列名筛选（需知道第三列列名为C）
fread(cmd='powershell -Command "Import-Csv data.csv | Where-Object { $_.C -match \'^4[0-9]$\' } | ConvertTo-Csv -NoTypeInformation"')

# 按列索引筛选（第三列索引为2，从0开始计数）
fread(cmd='powershell -Command "Get-Content data.csv | ForEach-Object { if ($_ -split \',\' | Select-Object -Index 2 -match \'^4[0-9]$\') { $_ } }"')

方法3：用awk处理（WSL/类Unix环境） #

awk是处理结构化文本的高效工具，可直接指定第三列做判断，完全跳过前两列的无效匹配，速度最快：

fread(cmd='awk -F \',\' \'$3 ~ /^4[0-9]$/\' data.csv')

运行上述优化后的命令，都能得到正确的筛选结果，且处理大型文件时速度远快于原方法。

内容的提问来源于stack exchange，提问作者Samuel Saari