如何将Pandas DataFrame转为Numpy以提升大文件数据匹配性能？

原代码慢的核心原因 #

你的循环写法是**O(n²)**的时间复杂度：每次遍历genes1的行时，genes1["id"][ind] in genes2["id"].values会遍历整个genes2的id列，60万行下来就是60万×60万次操作，速度必然极慢；而且查找对应genotype的方式多次索引转换，进一步拖慢效率。

优化方案：用Pandas+Numpy的向量化操作替代循环 #

方案1：Pandas合并+Numpy向量化处理（推荐）

利用Pandas的merge高效合并数据（底层哈希表实现，O(n)复杂度），再用Numpy向量化操作处理基因型反转匹配，完全避免循环：

import pandas as pd
import numpy as np

# 读取并过滤染色体X/Y的数据
genes1 = pd.read_csv("gen1.txt", sep=" ", names=["id", "chromosome", "genotype"])
genes1 = genes1[~genes1.chromosome.isin(['X', 'Y'])]
genes2 = pd.read_csv("gen2.txt", sep=" ", names=["id", "chromosome", "genotype"])
genes2 = genes2[~genes2.chromosome.isin(['X', 'Y'])]

# 基于id做内连接，只保留两边都存在的id
merged_df = pd.merge(genes1, genes2, on="id", suffixes=("_1", "_2"))

# 用Numpy向量化生成反转后的基因型数组
rev_genotype2 = np.array([g[::-1] for g in merged_df["genotype_2"]])

# 匹配条件：基因型相同 或 基因型反转后相同
match_condition = (merged_df["genotype_1"] == merged_df["genotype_2"]) | (merged_df["genotype_1"] == rev_genotype2)

# 统计匹配数量
match_count = match_condition.sum()
print(f"匹配行数：{match_count}")

方案2：Numpy数组+字典快速查找

如果更偏向用Numpy，可以将数据转为Numpy数组，再用字典实现O(1)的id查找：

import pandas as pd
import numpy as np

# 读取数据并转为Numpy数组（只保留需要的id和genotype列）
genes1 = pd.read_csv("gen1.txt", sep=" ", names=["id", "chromosome", "genotype"])
genes1 = genes1[~genes1.chromosome.isin(['X', 'Y'])]
arr1 = genes1[["id", "genotype"]].to_numpy()

genes2 = pd.read_csv("gen2.txt", sep=" ", names=["id", "chromosome", "genotype"])
genes2 = genes2[~genes2.chromosome.isin(['X', 'Y'])]
arr2 = genes2[["id", "genotype"]].to_numpy()

# 将genes2的id和基因型映射为字典，实现快速查找
id_genotype_map = {row[0]: row[1] for row in arr2}

match_count = 0
for id_val, gen1 in arr1:
    gen2 = id_genotype_map.get(id_val)
    if gen2 is not None:
        # 判断基因型是否匹配（含反转情况）
        if gen1 == gen2 or gen1 == gen2[::-1]:
            match_count += 1

print(f"匹配行数：{match_count}")

你之前尝试的代码问题说明 #

你写的genes1[genes1["rsid"] == genes2["rsid"]]逻辑错误：两个DataFrame的索引不一定对齐，直接按列比较会逐索引位置匹配，而不是按id值匹配。正确筛选共同id的写法应该是genes1[genes1["id"].isin(genes2["id"])]，但这种方式只能筛选出genes1中存在的共同id行，还需要额外关联genes2的基因型，不如merge操作直接。

内容的提问来源于stack exchange，提问作者Kevin Lin