基于文件数量与GB容量的文件扫描平均耗时计算方案咨询

我需要计算基于总容量（GB）和文件数量的文件扫描平均耗时，必须同时考虑这两个因素——文件大小差异会直接影响计算结果。我用PowerShell写了一段实现代码，预期结果大概是40，但不确定当前方案是否准确，希望得到验证和优化建议。

原实现代码 #

$SizeGB = 4
$FileCount = 4000

$examples = @(
    @{TimeSeconds = 10; SizeGB = 1; Files = 1000},
    @{TimeSeconds = 20; SizeGB = 2; Files = 2000},
    @{TimeSeconds = 30; SizeGB = 3; Files = 3000},
    @{TimeSeconds = 50; SizeGB = 5; Files = 5000},
    @{TimeSeconds = 60; SizeGB = 6; Files = 6000}
)

# Calculate average processing time per GB and per file based on examples
$totalTime = 0
$totalSize = 0
$totalFiles = 0

foreach ($example in $examples) {
    $totalTime += $example.TimeSeconds
    $totalSize += $example.SizeGB
    $totalFiles += $example.Files
}

$averageTimePerExample = $totalTime / $examples.Count
$averageGBPerExample = ($totalSize + $SizeGB) / ($examples.Count + 1)
$averageFilesPerExample = ($totalFiles + $FileCount) / ($examples.Count + 1)

$sizeRatio = $SizeGB / $averageGBPerExample
$fileCountRatio = $FileCount / $averageFilesPerExample

$estimatedTotalTime = $averageTimePerExample * $sizeRatio * $fileCountRatio

原代码问题验证 #

1. 样本数据污染：将目标的SizeGB和FileCount混入示例平均值计算（$averageGBPerExample、$averageFilesPerExample），这会干扰样本的基准比例，导致后续估算失真。
2. 逻辑模型不合理：当前用“平均耗时×容量比例×文件数比例”的计算方式，不符合扫描耗时的实际构成——扫描通常包含固定初始化开销、按容量线性增长的读取开销、按文件数线性增长的元数据处理开销，简单相乘无法准确拟合。
3. 异常值处理缺失：示例中第4组数据（5GB/5000文件耗时50秒）偏离了前3组的线性规律（本该40秒），当前逻辑无法抵消这种异常值对结果的影响。

优化方案：线性回归拟合模型 #

采用线性回归拟合耗时公式 Time = a + b*SizeGB + c*FileCount，其中：

• a：扫描的固定开销（如初始化扫描器、遍历目录结构的时间）
• b：每GB数据的处理耗时
• c：每个文件的元数据处理耗时

优化后代码 #

$targetSizeGB = 4
$targetFileCount = 4000

# 示例数据集
$examples = @(
    @{TimeSeconds = 10; SizeGB = 1; Files = 1000},
    @{TimeSeconds = 20; SizeGB = 2; Files = 2000},
    @{TimeSeconds = 30; SizeGB = 3; Files = 3000},
    @{TimeSeconds = 50; SizeGB = 5; Files = 5000},
    @{TimeSeconds = 60; SizeGB = 6; Files = 6000}
)

# 计算线性回归所需的各项求和值
$n = $examples.Count
$sumT = ($examples.TimeSeconds | Measure-Object -Sum).Sum
$sumS = ($examples.SizeGB | Measure-Object -Sum).Sum
$sumF = ($examples.Files | Measure-Object -Sum).Sum
$sumTS = ($examples | ForEach-Object { $_.TimeSeconds * $_.SizeGB } | Measure-Object -Sum).Sum
$sumTF = ($examples | ForEach-Object { $_.TimeSeconds * $_.Files } | Measure-Object -Sum).Sum
$sumSS = ($examples | ForEach-Object { $_.SizeGB * $_.SizeGB } | Measure-Object -Sum).Sum
$sumFF = ($examples | ForEach-Object { $_.Files * $_.Files } | Measure-Object -Sum).Sum
$sumSF = ($examples | ForEach-Object { $_.SizeGB * $_.Files } | Measure-Object -Sum).Sum

# 解线性方程组得到系数a、b、c
$denominator = $n*$sumSS*$sumFF + 2*$sumSF*$sumS*$sumF - $sumS*$sumS*$sumFF - $sumF*$sumF*$sumSS - $n*$sumSF*$sumSF
$a = ($sumT*$sumSS*$sumFF + $sumSF*$sumTS*$sumF + $sumSF*$sumS*$sumTF - $sumT*$sumSF*$sumSF - $sumS*$sumTS*$sumFF - $sumF*$sumTF*$sumSS) / $denominator
$b = ($n*$sumTS*$sumFF + $sumT*$sumSF*$sumF + $sumS*$sumTF*$sumSF - $n*$sumTF*$sumSF - $sumT*$sumS*$sumFF - $sumTS*$sumF*$sumF) / $denominator
$c = ($n*$sumSS*$sumTF + $sumTS*$sumS*$sumF + $sumT*$sumSF*$sumSF - $n*$sumTS*$sumSF - $sumT*$sumSS*$sumF - $sumTF*$sumS*$sumS) / $denominator

# 计算目标场景的估算耗时
$estimatedTotalTime = $a + $b*$targetSizeGB + $c*$targetFileCount
Write-Host "估算耗时: $([math]::Round($estimatedTotalTime, 2)) 秒"

优化点说明 #

• 贴合实际模型：线性回归模型准确覆盖了扫描耗时的三类构成，比原比例相乘逻辑更符合真实场景。
• 不污染样本：仅用已有示例数据拟合参数，目标数据仅用于最终计算，保证基准数据的客观性。
• 抗异常值干扰：线性回归会综合所有样本的趋势，抵消单个异常值对结果的影响，估算更可靠。

内容的提问来源于stack exchange，提问作者hippyjm