如何在Python中每29行计算Spearman相关系数及p值

核心思路 #

将152511行数据按每29行划分为一个块，对每个块的两列（K和A）计算Spearman秩相关系数及对应的p值，最终收集所有块的结果。

代码实现（基于Pandas） #

适合从CSV等表格文件加载数据的场景：

import pandas as pd
from scipy.stats import spearmanr

# 1. 加载数据（替换为你的数据路径，确保列名为K和A）
df = pd.read_csv('your_data.csv', usecols=['K', 'A'])

# 2. 定义分块大小
chunk_size = 29
results = []

# 3. 循环处理每个数据块
for start_idx in range(0, len(df), chunk_size):
    # 截取当前块数据
    current_chunk = df.iloc[start_idx:start_idx+chunk_size]
    # 计算Spearman相关系数与p值
    corr_coeff, p_val = spearmanr(current_chunk['K'], current_chunk['A'])
    # 记录结果（可根据需求调整字段）
    results.append({
        '块起始行号': start_idx + 1,  # 行号从1开始计数
        '块结束行号': start_idx + chunk_size,
        'Spearman相关系数': corr_coeff,
        'p值': p_val
    })

# 4. 转换为DataFrame便于查看和保存
results_df = pd.DataFrame(results)
# 可选：保存结果到CSV
# results_df.to_csv('spearman_results.csv', index=False, encoding='utf-8')

代码实现（基于NumPy） #

适合处理NumPy矩阵格式的数据：

import numpy as np
from scipy.stats import spearmanr

# 1. 加载NumPy矩阵（shape=(152511, 2)，第一列是K，第二列是A）
data_matrix = np.load('your_matrix.npy')  # 或通过其他方式生成矩阵

chunk_size = 29
results = []

# 2. 分块计算
for start_idx in range(0, data_matrix.shape[0], chunk_size):
    current_chunk = data_matrix[start_idx:start_idx+chunk_size]
    corr_coeff, p_val = spearmanr(current_chunk[:, 0], current_chunk[:, 1])
    results.append({
        '块起始索引': start_idx,
        '块结束索引': start_idx + chunk_size - 1,
        'Spearman相关系数': corr_coeff,
        'p值': p_val
    })

# 转换为DataFrame
results_df = pd.DataFrame(results)

注意事项 #

• 若数据存在缺失值，可在计算前添加current_chunk = current_chunk.dropna()处理，避免计算报错。
• 152511恰好是29的整数倍（29*5259=152511），无需处理最后一块数据不足的情况。

内容的提问来源于stack exchange，提问作者Hanifah