如何为Pandas DataFrame批量生成患者症状自述文本列？

对于5万行的数据集，规则模板法是最稳定、高效的选择——无需依赖大语言模型（避免资源占用高、报错频繁的问题），直接通过结构化映射生成符合要求的自述文本。

步骤1：定义症状与自然语言描述的映射 #

先为每个症状列指定对应的自然语言表述，匹配示例风格：

symptom_mapping = {
    'fever': 'a fever',
    'cough': 'severe coughs',
    'headache': 'a persistent headache',
    'fatigue': 'extreme fatigue',
    'sore_throat': 'a sore throat'
    # 按需添加所有症状列的映射
}

步骤2：编写自述文本生成函数 #

遍历每行的症状列，收集值为1的症状，按语法规则拼接成通顺句子：

def generate_symptom_narrative(row, include_demographics=False):
    # 收集当前行存在的症状描述
    present_symptoms = [symptom_mapping[col] for col in symptom_mapping if row[col] == 1]
    
    # 构建核心症状文本
    if not present_symptoms:
        symptom_text = "no specific symptoms reported"
    elif len(present_symptoms) == 1:
        symptom_text = present_symptoms[0]
    else:
        # 多症状时用逗号分隔，最后一个用and连接
        symptom_text = ", ".join(present_symptoms[:-1]) + " and " + present_symptoms[-1]
    
    # 可选：加入年龄、性别信息
    if include_demographics:
        demo_part = f"As a {row['gender']} aged {row['age']}, "
    else:
        demo_part = ""
    
    # 组合最终文本
    return f"{demo_part}I have been experiencing {symptom_text}."

步骤3：批量生成新列 #

用apply方法将函数应用到整个DataFrame，5万行数据处理速度极快：

import pandas as pd

# 假设你的DataFrame名为df
df['symptom_narrative'] = df.apply(generate_symptom_narrative, axis=1)

# 如果需要加入年龄性别信息，传入参数：
# df['symptom_narrative'] = df.apply(lambda x: generate_symptom_narrative(x, include_demographics=True), axis=1)

可选：轻量LLM优化方案（追求文本多样性时） #

如果希望文本更自然灵活，可使用DistilGPT2（GPT-2的轻量版，资源占用低，不易报错），但需注意批量处理效率：

from transformers import pipeline

# 加载轻量文本生成模型
generator = pipeline("text-generation", model="distilgpt2", max_length=50)

def generate_llm_narrative(row):
    symptoms = [col for col in symptom_mapping if row[col] == 1]
    prompt = f"Patient symptom narrative: I have {', '.join(symptoms)}. "
    # 生成并提取有效文本部分
    result = generator(prompt, num_return_sequences=1)[0]['generated_text']
    return result.split("Patient symptom narrative: ")[-1].strip()

# 注：5万行用LLM处理较慢，建议分批次执行
df['symptom_narrative'] = df.apply(generate_llm_narrative, axis=1)

核心优势 #

• 规则模板法：零报错风险，5万行数据几秒即可处理完成，文本风格完全可控
• 轻量LLM法：生成文本更自然，资源占用远低于原版GPT-2，适合对多样性有要求的场景

内容的提问来源于stack exchange，提问作者Hedi Amor