针对你处理的500k行的大数据框，我推荐用向量化操作来高效计算，避免逐行循环拖慢速度。下面是具体的实现步骤，用Python的pandas和scipy来完成：

第一步：对齐数据结构 #

首先要确保两个数据框的基因名称和测量列完全匹配，避免计算时出现错位：

import pandas as pd
from scipy.stats import spearmanr

# 将genename设为索引，方便后续对齐
df1 = df1.set_index('genename')
df2 = df2.set_index('genename')

# 校验索引和列的一致性（可选但推荐）
assert df1.index.equals(df2.index), "两个数据框的基因名称不匹配，请检查数据"
assert df1.columns.equals(df2.columns), "两个数据框的测量列（x1-x100）不匹配，请检查数据"

第二步：高效计算每个基因的Spearman相关系数 #

这里用corrwith方法，它是pandas内置的向量化实现，比逐行apply快得多，非常适合大数据量：

# 转置数据框，让每列对应一个基因，然后计算两个转置后数据框的列间Spearman相关
gene_corrs = df1.T.corrwith(df2.T, method='spearman')

# 把结果转成带列名的DataFrame，方便后续分析
gene_corrs = gene_corrs.reset_index().rename(columns={0: 'spearman_correlation'})

运行后，gene_corrs里每行对应一个基因，spearman_correlation列就是该基因在两个数据框中100个测量值的Spearman相关系数。

关于你提到的“每个基因对应100个相关系数”的说明 #

从你的描述来看，这里可能存在表述偏差：单个基因的100个测量值和另一个数据框中对应基因的100个测量值，是两个长度为100的向量，它们之间的Spearman相关系数是单个数值。如果你的实际需求是计算每一列（比如x1在两个数据框所有基因间的相关），那可以用下面的代码，得到100个对应x1-x100的系数：

column_corrs = df1.corrwith(df2, method='spearman')

大数据量的内存优化方案 #

如果你的内存不足以一次性处理500k行，可以分块计算：

chunk_size = 10000  # 每次处理10000行，可根据内存调整
corr_chunks = []

for start in range(0, len(df1), chunk_size):
    end = start + chunk_size
    # 提取当前块
    df1_chunk = df1.iloc[start:end]
    df2_chunk = df2.iloc[start:end]
    # 计算当前块的相关系数
    chunk_result = df1_chunk.T.corrwith(df2_chunk.T, method='spearman')
    corr_chunks.append(chunk_result)

# 合并所有块的结果
gene_corrs = pd.concat(corr_chunks).reset_index().rename(columns={0: 'spearman_correlation'})

内容的提问来源于stack exchange，提问作者Mark K.