Pandas多文件外连接遇内存错误及解决方案咨询

这个问题我太熟悉了！你碰到的ValueError: array is too big本质是全外连接（outer join）在合并列完全没有公共值时触发了笛卡尔积——15000行的文件如果有n个，笛卡尔积的行数会是15000ⁿ，直接把内存撑爆了。下面给你几个实用的解决思路，亲测有效：

有时候看似没有公共值，其实是数据格式问题导致的——比如字符串大小写不一致、前后有空格、类型不匹配（比如一个是字符串"123"，一个是数字123）。先做个简单检查：

import pandas as pd
import csv

asw = "你的合并列名"  # 替换成实际的合并列名称
files = ["file1.csv", "file2.csv", ...]  # 替换成你的文件列表

# 收集每个文件合并列的非空唯一值
unique_sets = []
for file in files:
    df = pd.read_csv(file, dtype='object', quotechar='"', encoding='UTF8', quoting=csv.QUOTE_ALL, low_memory=True)
    # 过滤空值，统一格式避免干扰
    valid_vals = set(df[asw].dropna().str.strip().str.lower().unique())
    unique_sets.append(valid_vals)

# 计算所有文件的公共值交集
common_vals = set.intersection(*unique_sets)
print(f"合并列的公共值数量：{len(common_vals)}")

如果输出的公共值数量不为0，那调整格式后再合并就能解决问题；如果确实没有公共值，就得换合并策略了。

如果业务上不需要保留所有无匹配的行，优先用内连接（how='inner'）——只会保留合并列有公共值的行，完全不会产生笛卡尔积：

import pandas as pd
import csv

nfiles = len(files)
a = []
for i in range(nfiles):
    a.append(pd.read_csv(files[i], dtype='object', quotechar='"', encoding='UTF8', quoting=csv.QUOTE_ALL, low_memory=True))

df = a[0]
for df_ in a[1:]:
    # 改用内连接，只保留匹配的行
    df = df.merge(df_, how='inner', on=asw)

df.to_csv("output.csv", index=False)

如果必须保留所有行，但不想生成无效的笛卡尔积，可以用纵向拼接+分组聚合的方式，把同合并列的行聚合到一起：

dfs = []
for idx, file in enumerate(files):
    df = pd.read_csv(file, dtype='object', quotechar='"', encoding='UTF8', quoting=csv.QUOTE_ALL, low_memory=True)
    df['source_file'] = f"file_{idx+1}"  # 标记数据来源，方便排查
    dfs.append(df)

# 先把所有文件纵向拼接
combined = pd.concat(dfs, ignore_index=True)

# 按合并列分组，把同组的字段合并（可以根据需求调整聚合逻辑，比如取第一个非空值）
final_df = combined.groupby(asw).agg(lambda x: x.dropna().iloc[0] if not x.dropna().empty else None).reset_index()

final_df.to_csv("output.csv", index=False)

如果数据量实在太大，哪怕调整连接方式还是内存不足，可以用分块读取+分块合并的方式，每次只处理一小部分数据：

import pandas as pd
import csv

chunk_size = 1000  # 每次处理1000行，可根据内存调整
asw = "你的合并列名"
files = ["file1.csv", "file2.csv", ...]

# 先读取第一个文件的分块作为初始数据
merged_chunks = []
for first_chunk in pd.read_csv(files[0], dtype='object', quotechar='"', encoding='UTF8', quoting=csv.QUOTE_ALL, low_memory=True, chunksize=chunk_size):
    current_chunk = first_chunk
    # 依次和其他文件的分块合并
    for file in files[1:]:
        for other_chunk in pd.read_csv(file, dtype='object', quotechar='"', encoding='UTF8', quoting=csv.QUOTE_ALL, low_memory=True, chunksize=chunk_size):
            # 这里建议用inner join，避免分块也产生笛卡尔积
            current_chunk = current_chunk.merge(other_chunk, how='inner', on=asw)
    merged_chunks.append(current_chunk)

# 合并所有处理好的分块
final_df = pd.concat(merged_chunks, ignore_index=True)
final_df.to_csv("output.csv", index=False)

在合并前先过滤掉合并列为空的行，能大幅减少数据量：

a = []
for i in range(nfiles):
    df = pd.read_csv(files[i], dtype='object', quotechar='"', encoding='UTF8', quoting=csv.QUOTE_ALL, low_memory=True)
    # 过滤合并列为空的行
    df = df.dropna(subset=[asw])
    a.append(df)

# 再进行合并，数据量会小很多
df = a[0]
for df_ in a[1:]:
    df = df.merge(df_, how='outer', on=asw)

df.to_csv("output.csv", index=False)

内容的提问来源于stack exchange，提问作者Faisal Khan