如何高效移除JPL文件首尾引号外的多余引号（DataLake场景）

问题场景 #

文本行存在首尾引号外的多余引号，导致DataLake数据分配异常，示例行：

dok_dat_feld_61[1]="Order "3000000005".

之前用全量清除引号再加首尾的方式（$Variable.Replace(", "")、$v.Trim('"')）处理数千文件时速度极慢；尝试按索引定位引号未成功。

高效解决方案 #

用正则精准匹配替换中间多余引号，避免全量字符串操作，大幅提升处理速度。核心思路是只替换首尾引号之间的多余引号，不改动首尾的边界引号。

代码示例（PowerShell环境） #

# 遍历目标目录下的所有JPL文件
Get-ChildItem -Path "你的目标文件路径" -Filter "*.jpl" | ForEach-Object {
    # 一次性读取文件内容（比逐行读更高效）
    $rawContent = Get-Content $_.FullName -Raw
    # 正则替换：仅删除首尾引号之间的多余引号
    $processedContent = $rawContent -replace '(?<=^[^"]*")"(?=[^"]*"[^"]*$)', ''
    # 可选：修复可能缺失尾引号的行（如示例行的情况）
    $processedContent = $processedContent -replace '^([^"]+)"([^"]+)$', '$1"$2"'
    # 写回处理后的内容
    Set-Content $_.FullName -Value $processedContent -Encoding UTF8
}

正则逻辑说明 #

• (?<=^[^"]*")：正向回溯断言，确保当前匹配的引号前面已经出现过起始引号（即不在行首位置）
• (?=[^"]*"[^"]*$)：正向前瞻断言，确保当前匹配的引号后面还有结束引号（即不在行尾位置）
• 整个正则只会命中首尾引号之间的多余引号，精准替换为空，避免全量操作的性能损耗

为什么之前的方法慢？ #

全量替换/清除引号会遍历字符串的每一个字符，重新构建完整字符串，处理大量文件时IO和计算开销极大；而正则精准匹配只修改需要调整的部分，减少了不必要的内存操作和IO写入，速度提升明显。

内容的提问来源于stack exchange，提问作者Lywelle