Python中实现多文件Cross Join（交叉连接）的高效方案

嘿，这个问题我太有共鸣了！当文件数量超过3、4个时，嵌套循环简直是噩梦——不仅代码写起来麻烦，后期改起来更是头疼。好在Python标准库的itertools.product就是为这种场景量身打造的，完美解决多层嵌套的问题，而且代码简洁又高效！

核心思路 #

itertools.product可以接收任意数量的可迭代对象，返回它们的笛卡尔积（也就是你说的交叉连接），每一组结果都是来自每个可迭代对象的元素组合。不管你有2个文件还是10个文件，都不用加额外的循环层级，扩展性拉满。

具体实现步骤 #

• 读取文件内容：先把每个文件的行读取出来，注意处理换行符（比如用strip()去掉首尾空白）；
• 生成笛卡尔积：用itertools.product传入所有文件的行列表；
• 格式化输出：把每组组合的行拼接成你需要的格式（比如用逗号连接）。

代码示例 #

假设你的文件都是每行以逗号分隔的文本，比如：

• file1.txt内容：

  a,b,c
  d,e,f
  

• file2.txt内容：

  1,2,3
  4,5,6
  

• 如果还有file3.txt、file4.txt，直接添加到文件列表里就行。

代码如下：

import itertools

def read_file_lines(file_path):
    """读取文件的每一行，去掉换行符并过滤空行"""
    with open(file_path, 'r', encoding='utf-8') as f:
        return [line.strip() for line in f if line.strip()]

# 定义要处理的文件列表，可任意添加新文件路径
file_paths = ['file1.txt', 'file2.txt']

# 读取所有文件的行内容
all_lines = [read_file_lines(path) for path in file_paths]

# 生成所有交叉组合并输出
for combo in itertools.product(*all_lines):
    # 将每组拼接成目标格式
    result = ','.join(combo)
    print(result)
    # 如果要写入输出文件，取消下面注释即可
    # with open('output.txt', 'a', encoding='utf-8') as out_f:
    #     out_f.write(result + '\n')

运行这段代码后，就能得到你期望的输出：

a,b,c,1,2,3
a,b,c,4,5,6
d,e,f,1,2,3
d,e,f,4,5,6

为什么这个方法更好？ #

• 无嵌套循环：不管文件数量多少，都只需要一行itertools.product(*all_lines)生成所有组合，代码不会随着文件数量增加而变得臃肿；
• 内存友好：itertools.product是惰性生成器，不会一次性把所有组合加载到内存里，处理大文件时更高效；
• 扩展性强：要加新文件？直接在file_paths列表里加路径就行，不用改核心逻辑。

针对超大文件的优化 #

如果你的文件特别大，一次性读取所有行占内存，可以把读取函数改成生成器版本，每次只读取一行：

def read_file_lines_gen(file_path):
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            stripped_line = line.strip()
            if stripped_line:
                yield stripped_line

然后将all_lines改为生成器列表：all_lines = [read_file_lines_gen(path) for path in file_paths]，itertools.product会自动处理生成器，大幅降低内存占用。

内容的提问来源于stack exchange，提问作者Himani