为什么Pandas允许使用非唯一索引，其适用场景有哪些？

Pandas 原生同时支持唯一索引和非唯一索引，其中join、reindex、单标签赋值等部分操作仅在索引唯一时能保证结果符合预期，以下是适合使用非唯一索引的典型场景：

• 高频时间序列数据存储/查询：比如工业传感器每秒上报多条数据、电商用户毫秒级行为日志等场景，直接用时间戳作为索引天然就会存在重复值，不需要为了强制唯一额外拼接自增序列。此时用非唯一时间索引可以直接通过df.loc['2024-06-01 14:00:00']快速取出该时间点的全部数据，过滤效率远高于条件查询，使用也更简洁。
• 分组批量操作的中间流程：处理多对一关系数据时，比如同一用户的多笔订单、同一商品的多次库存变更记录，可以临时将用户ID、商品ID这类分组字段设为非唯一索引，之后对同一分组的所有行做修改、过滤操作时不需要重复写查询条件，处理完成后再通过reset_index()重置索引即可，不需要额外保证索引的唯一性。
• 数据清洗的前置步骤：处理脏数据时往往会遇到逻辑主键重复的问题，此时如果直接强制索引唯一会直接报错中断流程，先使用非唯一索引可以快速筛选出重复行进行去重、校验处理，等数据清洗完成后再设置唯一索引即可，灵活性更高。
• 多表关联的临时计算：处理多对多关联的中间结果时，比如把用户标签表和用户行为表关联后，同一个用户ID会对应多条标签+行为的组合记录，此时用用户ID作为非唯一索引可以快速批量调整同一用户的关联数据，比每次写条件过滤的执行效率更高。

不少开发者认为强制要求索引唯一性有助于提前发现数据完整性问题

这个观点确实是绝大多数生产环境的最佳实践：非唯一索引在进行loc赋值、表关联操作时，很容易出现隐式笛卡尔积、批量误修改等问题，排查成本极高。如果你的数据在逻辑上存在唯一主键，优先设置唯一索引可以在数据写入阶段就提前发现重复写入、同步异常等问题，避免后续计算出不符合预期的结果。

内容的提问来源于stack exchange，提问作者woodings