Pandas使用apply对比数据集差异仅部分行高亮如何解决
问题原因
你遇到的是pandas Styler的默认渲染阈值限制:为了避免生成体积过大的HTML文件导致浏览器加载异常,pandas对Styler可渲染的最大行数、总单元格数设置了默认上限,超过阈值后超出部分的样式不会生效,这就是ID为4144之后的行无法高亮的核心原因。
解决方案
1. 调大Styler渲染参数
在代码开头新增pandas全局配置,根据你的数据规模(9000行14列,拼接后共9000行28列)调整渲染上限:
import pandas as pd import numpy as np from IPython.display import display, HTML # 新增以下两行配置 pd.set_option('styler.render.max_rows', 10000) # 最大渲染行数,覆盖默认阈值 pd.set_option('styler.render.max_elements', 300000) # 最大渲染单元格总数,覆盖默认阈值
2. 可选:校验数据对齐逻辑
如果调整参数后仍有问题,检查两个数据集的ID对齐情况,避免出现ID类型不匹配、高ID行缺失的问题:
df = join_datasets('source.csv', 'target.csv') # 校验拼接后行数是否符合预期,以及ID大于4144的行是否存在 print(f"拼接后总行数:{len(df)}") print(f"ID大于4144的行数:{len(df[df.index>4144])}")
3. 完整修改后代码
import pandas as pd import numpy as np from IPython.display import display, HTML # 新增渲染配置 pd.set_option('styler.render.max_rows', 10000) pd.set_option('styler.render.max_elements', 300000) def join_datasets(source, target): source_df = pd.read_csv(source) target_df = pd.read_csv(target) combined_df = pd.concat([source_df.set_index('id'), target_df.set_index('id')], axis='columns', keys=['Source', 'Target']) combined_df = combined_df.swaplevel(axis='columns')[source_df.columns[1:]] return combined_df def highlight_diff(data, color='yellow'): attr = 'background-color: {}'.format(color) other = data.xs('Source', axis='columns', level=-1) return pd.DataFrame(np.where(data.ne(other, level=0), attr, ''), index=data.index, columns=data.columns) custom_style = [ { 'selector':'caption', 'props':[('font-weight', 'bold'),('margin-bottom','25px'),('font-size','25px')] }, { 'selector': '', 'props': [('border-collapse', 'collapse'),('margin', '100px auto')] }, { 'selector': 'table', 'props': [('border-collapse', 'collapse'),('margin', '100px auto')] }, { 'selector': 'tbody', 'props': [('border', '1px solid #A2DBFA')] }, { 'selector': 'td', 'props': [('border', '1px solid #A2DBFA'),('padding','1em'),('border-bottom','2px solid #A2DBFA')] }, { 'selector': 'th', 'props': [('border', '1px solid #A2DBFA'),('padding','1em'),('background-color','#39A2DB'),('border-bottom','2px solid #A2DBFA')] } ] df = join_datasets('source.csv', 'target.csv') df = df.style.set_table_styles(custom_style, overwrite=True).set_caption("Test Case 1").apply(highlight_diff, axis=None) df
内容的提问来源于stack exchange,提问作者J_Coder
相关产品推荐
相关产品推荐

