Pandas read_html读取SAP导出HTML时出现列值重复移位问题

核心问题根源 #

虽然你确认SAP导出文件“未变更”，但大概率是导出的HTML表格存在隐性格式变化（比如某个单元格新增了colspan属性、隐藏换行符/非打印字符，或是SAP导出逻辑在底层做了细微调整），导致pd.read_html的自动列推断逻辑出错，进而出现客户名跨列填充、单元格移位的问题。

分步解决步骤 #

1. 先单独锁定问题表格

先把第17个表格（注意Python索引从0开始，对应list_of_dataframes[16]）单独提取出来分析，排除其他表格干扰：

with open(file_path,'r',encoding='utf-8') as file:
    contents = file.read()
# 提取所有表格并单独拿出问题表格
all_tables = pd.read_html(contents)
problem_df = all_tables[16]
print(problem_df.head())

# 保存问题表格的原始HTML片段，方便排查格式问题
from bs4 import BeautifulSoup
soup = BeautifulSoup(contents, 'html.parser')
tables = soup.find_all('table')
with open('problem_table.html', 'w', encoding='utf-8') as f:
    f.write(str(tables[16]))

打开保存的problem_table.html，检查是否有单元格带colspan属性，或是客户名字段里有特殊换行/空格，这些都会干扰read_html的列解析。

2. 强制指定列规则，避免自动推断错误

如果问题表格的列数和列名是固定的，直接手动指定，跳过read_html的自动推断：

# 替换成你实际的列名列表
fixed_columns = ['序号', '客户名', '订单号', '金额', '状态']

with open(file_path,'r',encoding='utf-8') as file:
    contents = file.read()

all_tables = pd.read_html(contents)
# 处理问题表格
problem_df = all_tables[16]
# 强制重置列名（如果列数匹配）
if len(problem_df.columns) == len(fixed_columns):
    problem_df.columns = fixed_columns
else:
    # 若列数异常，用BeautifulSoup重新提取表格内容，按固定列数整理
    soup = BeautifulSoup(contents, 'html.parser')
    problem_table = soup.find_all('table')[16]
    rows = problem_table.find_all('tr')
    row_data = []
    for row in rows:
        cells = row.find_all(['td', 'th'])
        row_data.append([cell.get_text(strip=True) for cell in cells])
    # 生成DataFrame，用固定列名
    problem_df = pd.DataFrame(row_data[1:], columns=fixed_columns[:len(row_data[0])])

# 替换原列表中的问题表格，再合并
all_tables[16] = problem_df
df = pd.concat(all_tables[1:])  # 跳过第一个表格

# 后续原有逻辑保持不变
df.columns = df.iloc[0]
df.drop(0,inplace=True)
df.reset_index(drop=True, inplace=True)
df.fillna('null', inplace=True)
df.to_json(file_name + ".json", orient='records')

3. 清理HTML中的干扰字符

SAP导出的HTML可能包含隐藏的非打印字符或冗余格式，先清理再解析：

import re
with open(file_path,'r',encoding='utf-8') as file:
    contents = file.read()

# 移除多余空格、换行和非打印字符
contents = re.sub(r'\s+', ' ', contents)
# 移除可能导致跨列的colspan属性（如果排查发现存在）
contents = re.sub(r'colspan="\d+"', '', contents)

# 再正常解析表格
all_tables = pd.read_html(contents)
# 后续合并处理同上

4. 切换HTML解析器

pd.read_html默认用lxml，尝试切换到html5lib解析器，兼容性更好：

list_of_dataframes = pd.read_html(contents, flavor='html5lib')
# 后续原有逻辑保持不变

内容的提问来源于stack exchange，提问作者crobson