Django读取过滤大型CSV文件及Admin展示筛选数据表的最佳实践与库推荐

核心实现思路 #

大型CSV处理最核心的原则是绝对不要全量加载文件到内存，根据业务场景选对应路线即可：

• 持久化场景：CSV文件上传后预导入数据库，所有过滤、分页、排序逻辑走Django ORM，稳定性最高，和Admin生态适配最好，适合需要长期反复查询数据的场景。
• 临时查询场景：不做数据库持久化，实时读取CSV响应查询请求，适合临时上传、查完就丢的场景，需要额外做查询缓存避免重复IO。

推荐依赖库 #

按分层选型，不需要上来就装全套，按需选择即可：

CSV读取解析层 #

• 标准库csv：零额外依赖，支持逐行迭代读取，1G以内结构简单的CSV直接用就行，不会撑爆内存，缺点是过滤、类型转换等逻辑要自己实现，处理性能一般。
• polars：优先推荐的大文件处理库，开懒加载模式读CSV时不会加载全量数据到内存，过滤、类型转换等算子可以下推到文件读取层执行，同等数据量下处理速度是pandas的5-10倍，内存占用仅为pandas的1/3左右，10G级别的CSV在普通2核4G服务器上也能流畅处理。
• pandas：如果团队已经熟悉pandas API也可以用，读取大文件时必须指定chunksize参数做分块读取，禁止直接调用无参数的read_csv加载全量文件，否则很容易触发内存溢出。

Admin集成层 #

• django-datatable：和Django适配度最高的DataTable集成库，原生支持服务端分页、全局搜索、列值过滤、排序，不需要写额外前端代码，在Admin类里配置对应字段即可直接对接ORM模型，走CSV入库路线的话基本零额外开发。
• django-import-export-celery：如果单CSV大小超过5G，不要用同步逻辑导入数据库，用这个库配合Celery做异步导入，支持导入进度回调，避免Admin页面请求超时。
• 走临时查询不入库的路线时，不需要额外装Admin集成类库，直接重写Admin的changelist_view方法，接收前端DataTable传来的分页、过滤、排序参数，传给polars做懒查询后返回对应格式的响应即可，常用查询条件可以用Django内置的缓存框架存10-15分钟，减少重复读文件的IO开销。

落地注意事项 #

• 所有DataTable逻辑必须走服务端分页，每次请求只返回当前页的几十到上百条数据，不要把全量数据扔给前端做客户端分页，超过10万行的数据就会直接把浏览器卡崩。
• 读取CSV时第一时间做字段类型校验，数字、日期类列经常会混入空值、异常字符串，提前统一处理成默认值，避免后续过滤、入库的时候抛服务端错误。
• CSV导入数据库时不要逐行调用create()方法，用ORM的bulk_create()做批量插入，每次批量插入1000-5000条，导入速度能提升几十倍。
• 入库后要给常用做过滤条件的字段加数据库索引，单表数据量过百万之后，无索引的过滤查询很容易超时。

内容的提问来源于stack exchange，提问作者スーパーマン