Pandas插值技术选型判断规则验证及疑问咨询

核心选型因素与适配技术 #

我梳理了Pandas插值技术选型的三个核心决定因素，以及对应的适配方案：

• 数据密度：区分密集/稀疏数据
• 数据维度：区分高维/低维数据
• 数据集大小：优先降低计算耗时

适配的插值技术：

• Radial Basis：适用于稀疏高维数据
• Cubic Spline：适用于密集数据
• Polynomial Interpolation：更适合小型低维数据集，可精准拟合3次及以下函数曲线

待确认的疑问 #

1. 数据密度判断方法的可靠性
   我总结的判断方法：

• 缺失值占比≥50%定义为稀疏数据
• 多数数据取值范围小且标准差小为密集型，反之则稀疏
• 通过散点图可视化辅助判断

2. 高/低维度定义的正确性
   我当前的定义：维度/变量数≥行数则为高维数据，反之为低维数据

3. 数据集大小的代码规则可行性
   能否在代码中设定规则：低维且行数<100,000为小型数据集，反之为大型？

以上结论均为研究得出，虽知晓部分标准存在主观性，仍希望确认其准确性。

内容的提问来源于stack exchange，提问作者Apoorva