You need to enable JavaScript to run this app. Pandas使用apply对比数据集差异仅部分行高亮如何解决
优惠活动
大模型
产品
解决方案
定价
更多

Pandas使用apply对比数据集差异仅部分行高亮如何解决

问题原因

你遇到的是pandas Styler的默认渲染阈值限制:为了避免生成体积过大的HTML文件导致浏览器加载异常,pandas对Styler可渲染的最大行数、总单元格数设置了默认上限,超过阈值后超出部分的样式不会生效,这就是ID为4144之后的行无法高亮的核心原因。

解决方案

1. 调大Styler渲染参数

在代码开头新增pandas全局配置,根据你的数据规模(9000行14列,拼接后共9000行28列)调整渲染上限:

import pandas as pd
import numpy as np
from IPython.display import display, HTML

# 新增以下两行配置
pd.set_option('styler.render.max_rows', 10000) # 最大渲染行数,覆盖默认阈值
pd.set_option('styler.render.max_elements', 300000) # 最大渲染单元格总数,覆盖默认阈值

2. 可选:校验数据对齐逻辑

如果调整参数后仍有问题,检查两个数据集的ID对齐情况,避免出现ID类型不匹配、高ID行缺失的问题:

df = join_datasets('source.csv', 'target.csv')
# 校验拼接后行数是否符合预期,以及ID大于4144的行是否存在
print(f"拼接后总行数:{len(df)}")
print(f"ID大于4144的行数:{len(df[df.index>4144])}")

3. 完整修改后代码

import pandas as pd
import numpy as np
from IPython.display import display, HTML

# 新增渲染配置
pd.set_option('styler.render.max_rows', 10000)
pd.set_option('styler.render.max_elements', 300000)

def join_datasets(source, target):
    source_df = pd.read_csv(source)
    target_df = pd.read_csv(target)
    combined_df = pd.concat([source_df.set_index('id'), target_df.set_index('id')], 
                            axis='columns', keys=['Source', 'Target'])
    combined_df = combined_df.swaplevel(axis='columns')[source_df.columns[1:]]
    return combined_df

def highlight_diff(data, color='yellow'):
    attr = 'background-color: {}'.format(color)
    other = data.xs('Source', axis='columns', level=-1)
    return pd.DataFrame(np.where(data.ne(other, level=0), attr, ''),
                        index=data.index, columns=data.columns)

custom_style = [
    {
        'selector':'caption',
        'props':[('font-weight', 'bold'),('margin-bottom','25px'),('font-size','25px')]
    },
    {  
        'selector': '',
        'props': [('border-collapse', 'collapse'),('margin', '100px auto')]
    },
    {  
        'selector': 'table',
        'props': [('border-collapse', 'collapse'),('margin', '100px auto')]
    },
    {  
        'selector': 'tbody',
        'props': [('border', '1px solid #A2DBFA')]
    },
    {
        'selector': 'td',
        'props': [('border', '1px solid #A2DBFA'),('padding','1em'),('border-bottom','2px solid #A2DBFA')]
    },
    {
        'selector': 'th',
        'props': [('border', '1px solid #A2DBFA'),('padding','1em'),('background-color','#39A2DB'),('border-bottom','2px solid #A2DBFA')]
    }
]

df = join_datasets('source.csv', 'target.csv')
df = df.style.set_table_styles(custom_style, overwrite=True).set_caption("Test Case 1").apply(highlight_diff, axis=None)
df

内容的提问来源于stack exchange,提问作者J_Coder

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.09 21:54:04