使用goroutine无限遍历文件时迭代中断或不运行该如何解决

问题根因 #

• 共享文件句柄引发并发竞争：你代码中声明了全局的file文件实例，os.File内置的文件偏移量是全局共享的，没有做并发同步控制。多个goroutine同时读取时，偏移量会被随机修改：要么第一个goroutine读完后偏移量直接到文件末尾，后续goroutine读不到内容；要么多个goroutine争抢偏移量导致读取内容错乱、中途终止。
• 缺少无限迭代逻辑：现有逻辑仅会遍历文件一次，遍历结束就会退出start函数，没有循环重读的实现。
• 错误处理缺失：忽略了文件打开、扫描过程中可能出现的错误，无法定位运行异常的原因。
• goroutine生命周期管控不完善：虽然加了fmt.Scanln()阻塞main函数，但调整并发逻辑时很容易出现main函数提前退出、goroutine被强制终止的问题。

正确实现方案 #

如果需要每个goroutine独立无限遍历单词表，推荐每个goroutine单独打开对应单词表文件，避免共享资源竞争，实现代码如下：

package main

import (
	"bufio"
	"fmt"
	"os"
	"sync"
)

func start(wordPath string, wg *sync.WaitGroup) {
	defer wg.Done()
	// 每个goroutine单独打开文件，拥有独立的文件偏移量
	file, err := os.Open(wordPath)
	if err != nil {
		fmt.Printf("打开文件%s失败: %v\n", wordPath, err)
		return
	}
	defer file.Close()

	// 无限迭代逻辑
	for {
		scanner := bufio.NewScanner(file)
		for scanner.Scan() {
			fmt.Println(scanner.Text())
		}
		// 处理扫描错误
		if err := scanner.Err(); err != nil {
			fmt.Printf("扫描文件%s出错: %v\n", wordPath, err)
			return
		}
		// 读完一遍后将偏移量重置到文件开头，准备下一轮遍历
		_, err = file.Seek(0, 0)
		if err != nil {
			fmt.Printf("重置文件偏移量失败: %v\n", err)
			return
		}
	}
}

func main() {
	var wg sync.WaitGroup
	wordList := []string{"wordlist.txt"} // 多单词表直接添加到这个切片即可
	concurrency := 150 // 并发数

	wg.Add(concurrency)
	for t := 0; t < concurrency; t++ {
		// 多单词表场景可在这里轮询分配wordList中的路径
		go start(wordList[0], &wg)
	}
	// 永久阻塞main函数保证goroutine持续运行，不需要主动终止可直接替换为select{}
	wg.Wait()
}

补充说明 #

• 如果需要同时遍历多个单词表，只需要把所有单词表路径放到wordList切片中，启动goroutine时轮询分配路径即可。
• 若所有goroutine需要读取同一个文件且不想多次打开，可以给文件操作加互斥锁，但性能会低于每个goroutine独立开文件的方案。

内容的提问来源于stack exchange，提问作者mike