Excel Power Pivot的「双重压缩」是否为Vertipaq压缩的公认现象？

现象概述 #

• 每月在Power Pivot中重新下载包含最新月份的完整SQL查询数据，每月新增约130万行
• 2014年1月至2023年8月的1.61亿行数据占用4GB内存，新增下一月数据时触发内存过载错误
• 移除首年（2014年）数据后，2015年1月至2023年9月的1.48亿行仅占用2.8GB；但更早的2014年1月至2022年5月的1.37亿行却占用3.37GB
• 已确认数据模型、计算列无差异，各月份数据类型、基数一致，通过DAX Studio未发现单列内存异常
• 为2015年1月至2023年9月的数据集新增下一月数据（行数从1.48亿增至1.49亿）时，内存占用从2.8GB骤升至3.4GB，原有的高压缩效果消失

核心疑问 #

• 移除首年数据后压缩效率提升是否为Vertipaq压缩的公认现象？
• 有无相关技术资料可参考？

现象解释与技术依据 #

Vertipaq的压缩效率高度依赖数据的重复模式、基数分布以及数据加载批次的特性，你遇到的情况属于Vertipaq的典型表现：

1. 数据模式一致性的影响：2014年的早期数据可能存在与后续年份不同的潜在模式——比如部分字段重复率更低、枚举值分布更分散，或存在大量历史遗留特殊值，这些会破坏整体数据的重复规律，降低压缩比。移除首年后，剩余年份数据模式更统一，Vertipaq能高效应用字典压缩、运行长度压缩等算法，大幅降低内存占用。
2. 加载批次的压缩锁定效应：Vertipaq在首次加载数据时会构建压缩字典，后续新增数据若与原有字典匹配度低，会导致字典扩容甚至重构，反而增加内存开销。你在2015-2023年数据集上新增下一月数据时，可能该月数据的字段模式与之前的统一模式出现偏差，或加载批次触发了字典重构，导致压缩效果骤降。
3. 基数分布的长期累积影响：即使单月数据类型和基数一致，跨多年的累计基数变化也会影响压缩。首年数据可能引入大量低频率唯一值，这些值会持续占据字典空间，拉高整体内存占用；移除后，字典仅保留后续年份的高频重复值，压缩比自然提升。

相关技术参考要点 #

微软官方关于Vertipaq的技术文档明确提及：

• Vertipaq采用列存储+多层压缩架构，包含字典压缩、运行长度压缩、位图压缩等，压缩比直接取决于列数据的重复程度和模式一致性
• 数据加载的初始批次质量会影响后续压缩效率，若初始数据包含大量异常值或非典型模式，会持续拖累整体压缩效果
• 当新增数据与现有字典匹配度低于阈值时，Vertipaq会自动调整字典结构，可能导致内存占用突然上升

优化建议 #

• 清理历史数据时，优先移除模式差异大的早期数据，保证剩余数据的模式一致性
• 尝试分批次加载数据，优先加载模式统一的核心数据，再补充边缘数据，观察压缩效果变化
• 使用DAX Studio的Vertipaq Analyzer功能，深入对比不同数据集的列压缩细节，定位压缩比提升最明显的字段，针对性优化

内容的提问来源于stack exchange，提问作者Gabriel H