Go语言高效重写大文件：字符串大写的最优实现与优化

问题描述 #

我有一个无法完全载入内存的大文件，其中包含不同长度的字符串。我需要将这些字符串改写至另一个文件，且每个字符串需转为大写形式。请问在Go语言中实现此需求的最快方式是什么？以下是我想到的最高效实现方式，是否有优化空间使其更快？

package main

import (
    "bufio"
    "log"
    "os"
    "strings"
)

func main() {
    inputFile, err := os.Open("input.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer inputFile.Close()

    outputFile, err := os.Create("output.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer outputFile.Close()

    scanner := bufio.NewScanner(inputFile)
    writer := bufio.NewWriter(outputFile)

    for scanner.Scan() {
        line := scanner.Text()
        capitalized := strings.ToUpper(line)
        _, err := writer.WriteString(capitalized + "\n")
        if err != nil {
            log.Fatal(err)
        }
    }

    err = writer.Flush()
    if err != nil {
        log.Fatal(err)
    }
}

优化方向 #

你的实现已经是高效的基础方案，但还有几个可以进一步提升性能的点：

• 调整缓冲区大小：默认的bufio.Scanner缓冲区为64KB，对于超大文件，可通过scanner.Buffer()设置更大的缓冲区（比如2MB），减少系统调用次数。bufio.NewWriter也可指定更大缓冲区，降低写操作的系统调用开销。
• 避免字符串拼接：capitalized + "\n"会产生新字符串，改用writer.WriteString(capitalized)后再调用writer.WriteByte('\n')，减少不必要的内存分配。
• 直接操作字节切片：用bytes.ToUpper处理scanner.Bytes()返回的字节切片，避免字符串与字节切片之间的转换开销，性能比strings.ToUpper更优。
• 错误处理补充：原代码未处理scanner.Err()，需补充以捕获扫描过程中的IO错误。

优化后的示例代码 #

package main

import (
    "bufio"
    "bytes"
    "log"
    "os"
)

func main() {
    inputFile, err := os.Open("input.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer inputFile.Close()

    outputFile, err := os.Create("output.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer outputFile.Close()

    // 设置2MB缓冲区的Scanner
    buf := make([]byte, 2*1024*1024)
    scanner := bufio.NewScanner(inputFile)
    scanner.Buffer(buf, bufio.MaxScanTokenSize)

    // 设置2MB缓冲区的Writer
    writer := bufio.NewWriterSize(outputFile, 2*1024*1024)
    defer writer.Flush()

    for scanner.Scan() {
        upperBytes := bytes.ToUpper(scanner.Bytes())
        _, err := writer.Write(upperBytes)
        if err != nil {
            log.Fatal(err)
        }
        err = writer.WriteByte('\n')
        if err != nil {
            log.Fatal(err)
        }
    }

    // 捕获扫描过程中的IO错误
    if err := scanner.Err(); err != nil {
        log.Fatal(err)
    }
}

内容的提问来源于stack exchange，提问作者fogost