如何存储不同组织的可变长度基因表达列表？解决单元格字符超限问题

我来帮你搞定这个问题！你遇到的核心痛点是把可变长的基因列表塞进单个CSV单元格，不仅容易触发Excel的字符限制，后续数据处理也会很麻烦。这里有两个实用的解决方案，咱们一起来看：

方案1：长格式CSV存储（推荐） #

把每个组织-基因对单独存成一行，彻底避开单元格字符限制，而且后续分析灵活性拉满。

修改后的代码如下：

import pandas as pd

# 读取原始组织数据
df = pd.read_csv(r'E-MTAB-5214-query-results.tsv', skiprows=[0,1,2,3], sep='\t')
tissuelist = df.columns[2:]  # 更简洁的方式提取组织列名

# 准备长格式数据：每个基因对应一行组织名
long_data = []
for tissue in tissuelist:
    # 筛选该组织中存在表达的基因（排除NaN值）
    expressed_genes = df.loc[~df[tissue].isna(), 'Gene Name'].tolist()
    # 逐个添加组织-基因对到列表
    for gene in expressed_genes:
        long_data.append({'Tissue': tissue, 'Expressed Gene': gene})

# 转成DataFrame并保存
long_df = pd.DataFrame(long_data)
long_df.to_csv(r'tissue_expression_long_format.csv', index=False)

为什么这个方案好用？ #

• 完全避免Excel字符超限：每个单元格只存单个基因，长度可控
• 兼容性强：不管是用Excel查看，还是用Python/R做后续分析都很顺手
• 便于统计分析：比如想快速统计每个组织的基因数量，直接用long_df.groupby('Tissue').size()就能搞定

方案2：JSON格式存储（保留映射结构） #

如果需要严格保留“组织→基因列表”的键值对结构，JSON是天然适配的选择，它完美支持可变长数组，没有字符限制问题。

代码示例：

import json
import pandas as pd

# 读取原始数据
df = pd.read_csv(r'E-MTAB-5214-query-results.tsv', skiprows=[0,1,2,3], sep='\t')
tissuelist = df.columns[2:]

# 构建组织到基因列表的字典
tissue_gene_map = {}
for tissue in tissuelist:
    tissue_gene_map[tissue] = df.loc[~df[tissue].isna(), 'Gene Name'].tolist()

# 保存为JSON文件（带缩进，可读性更好）
with open(r'tissue_expression_data.json', 'w') as f:
    json.dump(tissue_gene_map, f, indent=2)

# 后续读取也很简单
with open(r'tissue_expression_data.json', 'r') as f:
    loaded_data = json.load(f)

这个方案的优势： #

• 严格保留原始数据结构，适合需要直接按组织批量提取基因的场景
• 读取和解析效率高，Python脚本可以直接加载为字典使用

为什么你的原始代码会出问题？ #

你之前把整个基因列表作为单个元素存入DataFrame单元格，pandas在转CSV时会把列表转成字符串（比如["GeneA", "GeneB", ...]）。当列表特别长时，这个字符串的长度会超过Excel单元格默认的32767字符限制，导致显示不全或报错。

内容的提问来源于stack exchange，提问作者Meep