基于OpenAI的Python聊天机器人读取XLSX文件结果不准确求助

核心问题梳理 #

你的聊天机器人处理PDF、Word文件正常，但XLSX文件存在漏字段、重复内容，且无法正确完成产品数量统计、总利润计算等任务，已尝试Pandas、openpyxl的多种读取拆分方式（单元格、行、整文件），测试用微软示例finance.xlsx数据集。

排查与修复方向 #

1. 数据读取阶段的完整性校验 #

• 使用Pandas读取时，确保未遗漏隐藏行/列：执行pd.read_excel('finance.xlsx', header=0, skiprows=None, usecols=None)，再用df.info()检查列数据类型（比如金额、数量列必须是数值型，不能是字符串），同时用df.isnull().sum()查看空值分布，避免空值导致的统计偏差。
• 使用openpyxl读取时，开启data_only=True参数：wb = openpyxl.load_workbook('finance.xlsx', data_only=True)，确保读取单元格的计算结果而非公式，防止公式未触发导致的内容异常；同时遍历所有工作表，确认没有遗漏数据所在的Sheet。

2. 数据传递给OpenAI的格式优化 #

• 放弃按单元格拆分的方式，这种碎片化传递极易导致模型上下文混乱。建议将表格转换为Markdown格式（用df.to_markdown()），或按业务逻辑做结构化聚合（比如按产品类别分组）后传递，既保留数据结构，又减少冗余内容。
• 注意模型上下文窗口限制，若表格过大，可拆分成分块数据，先让模型对每块做局部统计，再汇总所有局部结果得到最终结论，避免单次传递内容过载。

3. 统计类任务的Prompt精准化 #

• 明确任务指令，避免模糊表述，示例Prompt：

  请基于以下Markdown表格数据，完成两个任务：1. 统计所有产品的总数量；2. 计算所有产品的总利润。请严格按照表格中的数值计算，确保无重复统计、无字段遗漏：
  [此处插入转换后的Markdown表格内容]

• 可加入校验要求，比如“请列出计算过程，便于核对结果准确性”，强制模型输出逻辑，减少错误。

4. 代码层面的关键优化点 #

以下是优化后的核心处理代码示例，重点加入数据预处理和格式校验：

import pandas as pd
import openai

def process_xlsx(file_path):
    # 读取XLSX并预处理
    df = pd.read_excel(file_path)
    # 删除全空行/列，清理无效数据
    df = df.dropna(how='all').dropna(axis=1, how='all')
    # 强制转换数值型字段，避免字符串干扰统计
    numeric_cols = ['数量', '利润']  # 根据finance.xlsx实际列名调整
    for col in numeric_cols:
        df[col] = pd.to_numeric(df[col], errors='coerce').fillna(0)
    
    # 转换为结构化Markdown表格
    table_content = df.to_markdown(index=False)
    
    # 调用OpenAI API，使用精准Prompt
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[
            {"role": "system", "content": "你是严谨的数据处理专员，仅基于给定表格数据执行统计任务，结果必须准确对应原始数据。"},
            {"role": "user", "content": f"请处理以下表格数据：\n{table_content}\n任务：1. 统计产品总数量；2. 计算总利润。请输出清晰的结果和计算逻辑。"}
        ]
    )
    return response.choices[0].message['content']

• 重点检查：数据预处理是否覆盖空值、数据类型转换；传递给模型的内容是否为无冗余的结构化格式；Prompt是否明确任务边界。

额外验证步骤 #

1. 手动计算finance.xlsx的产品总数量、总利润，得到基准值；
2. 对比模型输出与基准值，若不一致，先排查读取后的DataFrame是否与原始表格一致，确认是读取问题还是模型理解问题；
3. 若存在多工作表，需合并所有相关Sheet的数据后再传递给模型，避免遗漏部分数据集。

内容的提问来源于stack exchange，提问作者Jonny