主函数提前返回致Go文件查找器异常，求协程架构优化方案

我想用goroutines实现一个高效的文件查找器，逻辑是：

• walkDirSendMatchingNames 遍历目录，把匹配正则的文件路径发送到path_channel
• dummyFilter 模拟修改日期这类额外过滤逻辑，把数据转发到mod_channel
• 最后在main里从mod_channel读取并打印结果

但当前实现不稳定，有时能输出匹配文件，有时不行。推测是main在dummyFilter完成数据发送前就退出了，求优化架构。

原代码如下：

import (
	"fmt"
	"os"
	"path/filepath"
	"regexp"
	"strings"
	"sync"
)

type File struct {
	d    os.DirEntry
	path string
}

func walkDirSendMatchingNames(root string, re *regexp.Regexp, path_channel chan<- File, ignore_dot bool, wg *sync.WaitGroup) error {
	defer wg.Done()
	visit := func(path string, d os.DirEntry, err error) error {
		if err != nil {
			return fmt.Errorf("Could not read directory %s: %s", path, err)
		}
		if ignore_dot && strings.HasPrefix(d.Name(), ".") {
			return nil
		}
		if d.IsDir() && path != root {
			wg.Add(1)
			go walkDirSendMatchingNames(filepath.Join(root, d.Name()), re, path_channel, ignore_dot, wg)
			return filepath.SkipDir
		} else {
			if re.Match([]byte(d.Name())) {
				path_channel <- File{d, filepath.Join(root, d.Name())}
			}
		}
		return nil
	}
	return filepath.WalkDir(root, visit)
}

func dummyFilter(path_channel <-chan File, mod_channel chan<- string) {
	for file_struct := range path_channel {
		mod_channel <- file_struct.path
	}
}

func main() {
	path := "."
	re, err := regexp.Compile("file")
	if err != nil {
		fmt.Println("Regex compile error:", err)
		return
	}

	var wg sync.WaitGroup

	path_channel := make(chan File)
	mod_channel := make(chan string)

	wg.Add(1)
	go walkDirSendMatchingNames(path, re, path_channel, true, &wg)

	go dummyFilter(path_channel, mod_channel)

	go func() {
		wg.Wait()
		close(path_channel)
		close(mod_channel)
	}()

	for path := range mod_channel {
		fmt.Println(path)
	}
}

问题根源 #

1. channel关闭时机错误：原代码中，在所有walk goroutine完成后直接关闭了mod_channel，但此时dummyFilter可能还在从path_channel读取数据并往mod_channel发送，提前关闭mod_channel会导致发送panic，或者main提前退出。
2. 路径拼接错误：visit函数的path参数已经是当前文件/目录的完整路径，原代码用filepath.Join(root, d.Name())会生成错误路径（比如嵌套目录会重复拼接根路径）。

优化后的代码 #

import (
	"fmt"
	"os"
	"path/filepath"
	"regexp"
	"strings"
	"sync"
)

type File struct {
	d    os.DirEntry
	path string
}

func walkDirSendMatchingNames(root string, re *regexp.Regexp, path_channel chan<- File, ignore_dot bool, wg *sync.WaitGroup) error {
	defer wg.Done()
	visit := func(path string, d os.DirEntry, err error) error {
		if err != nil {
			return fmt.Errorf("Could not read directory %s: %w", path, err)
		}
		if ignore_dot && strings.HasPrefix(d.Name(), ".") {
			// 跳过隐藏文件/目录
			if d.IsDir() {
				return filepath.SkipDir
			}
			return nil
		}
		if d.IsDir() {
			wg.Add(1)
			go walkDirSendMatchingNames(path, re, path_channel, ignore_dot, wg)
			return filepath.SkipDir
		} else {
			if re.Match([]byte(d.Name())) {
				path_channel <- File{d, path}
			}
		}
		return nil
	}
	return filepath.WalkDir(root, visit)
}

func dummyFilter(path_channel <-chan File, mod_channel chan<- string, wg *sync.WaitGroup) {
	defer wg.Done()
	for file_struct := range path_channel {
		// 这里可以添加实际的过滤逻辑，比如检查修改日期
		// stat, err := file_struct.d.Info()
		// if err == nil && stat.ModTime().After(someTime) {
		//     mod_channel <- file_struct.path
		// }
		mod_channel <- file_struct.path
	}
}

func main() {
	path := "."
	re, err := regexp.Compile("file")
	if err != nil {
		fmt.Println("Regex compile error:", err)
		return
	}

	var walkWG, filterWG sync.WaitGroup

	path_channel := make(chan File)
	mod_channel := make(chan string)

	// 启动目录遍历goroutine
	walkWG.Add(1)
	go func() {
		err := walkDirSendMatchingNames(path, re, path_channel, true, &walkWG)
		if err != nil {
			fmt.Println("Walk error:", err)
		}
	}()

	// 启动过滤goroutine
	filterWG.Add(1)
	go dummyFilter(path_channel, mod_channel, &filterWG)

	// 控制channel关闭顺序
	go func() {
		walkWG.Wait()         // 等所有遍历goroutine完成
		close(path_channel)   // 关闭path_channel，让dummyFilter知道没有新数据了
		filterWG.Wait()       // 等dummyFilter处理完所有数据
		close(mod_channel)    // 最后关闭mod_channel，让main知道可以退出循环
	}()

	// 输出结果
	for path := range mod_channel {
		fmt.Println(path)
	}
}

关键优化点 #

1. 拆分WaitGroup：用walkWG跟踪所有目录遍历goroutine，filterWG跟踪过滤goroutine，确保各自的生命周期被正确管理。
2. 修正路径拼接：直接使用visit函数传入的path参数作为文件的完整路径，避免路径错误。
3. 正确的channel关闭顺序：
   • 先等所有遍历完成，关闭path_channel
   • 再等过滤goroutine处理完所有path_channel的数据，最后关闭mod_channel
4. 隐藏目录处理优化：遇到隐藏目录直接返回filepath.SkipDir，避免进入目录遍历，提升效率。
5. 错误处理增强：用%w包装错误，保留错误链，方便后续排查。

内容的提问来源于stack exchange，提问作者mli