内存受限下，如何将PLINK二进制文件转为机器学习可用DataFrame？

针对你的PLINK二进制数据转pandas DataFrame的需求，结合15Gi内存的限制，推荐以下几种高效方案：

1. 直接用Python库读取PLINK文件（无需转VCF） #

使用pandas-plink库直接读取.bed/.bim/.fam文件，该库基于xarray实现，支持分块加载，避免一次性加载全部数据占满内存。

步骤： #

• 安装库：pip install pandas-plink
• 分块读取并转换为DataFrame：

import pandas as pd
from pandas_plink import read_plink

# 读取PLINK文件（仅加载元数据，不加载基因型矩阵）
bim, fam, bed = read_plink("your_data_prefix", verbose=True)

# 定义分块大小（根据内存调整，比如每次处理1000个SNP）
chunk_size = 1000
genotype_chunks = []

# 分块加载基因型数据
for start_idx in range(0, bed.shape[1], chunk_size):
    end_idx = min(start_idx + chunk_size, bed.shape[1])
    # 加载当前块的基因型数据，编码为0/1/2（缺失值为NaN）
    chunk_data = bed[:, start_idx:end_idx].compute()
    # 转换为DataFrame，用样本ID做索引，SNP ID做列名
    chunk_df = pd.DataFrame(
        chunk_data,
        index=fam.iid.values,
        columns=bim.snp.values[start_idx:end_idx]
    )
    genotype_chunks.append(chunk_df)

# 拼接所有块得到完整DataFrame
full_genotype_df = pd.concat(genotype_chunks, axis=1)

# 处理缺失值（根据需求选择，比如均值填充）
full_genotype_df = full_genotype_df.fillna(full_genotype_df.mean())

2. 用PLINK预处理生成紧凑文本文件后读取 #

先通过PLINK将数据转换为等位基因计数的纯文本格式（比VCF小得多），再用pandas分块读取。

步骤： #

• 用PLINK生成等位基因计数文件（可同时过滤低频SNP减少数据量）：

# --maf 0.05 过滤MAF<0.05的SNP，可根据需求调整；--recode A 生成次要等位基因计数
plink --bfile your_data_prefix --maf 0.05 --recode A --out filtered_data

• 分块读取生成的.raw文件：

import pandas as pd

# 分块读取，chunksize根据内存调整（比如每次读1000个样本）
chunk_iterator = pd.read_csv("filtered_data.raw", sep="\t", chunksize=1000)
genotype_dfs = []

for chunk in chunk_iterator:
    # 提取基因型列（前6列是样本元数据：FID/IID/PAT/MAT/SEX/PHENOTYPE）
    genotype_chunk = chunk.iloc[:, 6:]
    # 用样本ID作为索引
    genotype_chunk.index = chunk["IID"]
    genotype_dfs.append(genotype_chunk)

# 拼接得到完整DataFrame
full_genotype_df = pd.concat(genotype_dfs, axis=0)

3. 用Dask处理超内存数据 #

如果上述方法仍有内存压力，可使用Dask实现分块数据处理，先将数据转为高效格式（如Parquet），再按需加载到pandas。

步骤： #

import dask.dataframe as dd
from pandas_plink import read_plink

# 读取PLINK文件
bim, fam, bed = read_plink("your_data_prefix")

# 将基因型矩阵转为Dask DataFrame，设置分块大小
geno_dask = dd.from_array(
    bed,
    chunksize=(bed.shape[0], 1000)  # 每块包含所有样本+1000个SNP
)
# 设置索引和列名
geno_dask = geno_dask.assign_coords(rows=fam.iid, cols=bim.snp).to_dask_dataframe(columns=bim.snp)

# 处理缺失值
geno_dask = geno_dask.fillna(geno_dask.mean())

# 导出为Parquet格式（高效压缩，支持分块读取）
geno_dask.to_parquet("genotype_data.parquet")

# 后续按需加载部分数据到pandas
partial_df = dd.read_parquet("genotype_data.parquet").get_partition(0).compute()

额外优化建议 #

• 用PLINK做LD pruning：添加--indep-pairwise 50 5 0.2参数，移除连锁不平衡的SNP，进一步减少特征数量。
• 选择合适的缺失值处理策略：若缺失率低，可直接删除含缺失值的样本/SNP；若缺失率高，用均值/中位数填充或使用专门的插补算法（如MICE）。

内容的提问来源于stack exchange，提问作者Bahareh