Pandas是否支持read_csv链式直接merge以节省大文件合并内存？

你想实现的“读入CSV后直接链式执行merge、不保留中间变量释放内存”的写法本身完全可行，但你贴的原始代码存在几处明确的笔误，直接运行会直接触发报错，主要问题点：

• 第一个文件读取的函数写错：你写的pd.read("data1.csv")不是Pandas的内置读取方法，正确读取CSV的函数是pd.read_csv
• 两处字符串引号没有闭合："data1.csv、"data2.csv都缺少结尾的双引号
• 参数归属错位：how='inner'、on='a'是DataFrame.merge方法的入参，你当前把这两个参数写到了第二个pd.read_csv的参数括号里，read_csv方法根本无法识别这两个参数

修正笔误后可以直接运行的正确代码如下：

df = pd.read_csv("data1.csv").merge(
    pd.read_csv("data2.csv"),
    how="inner",
    on="a"
)

关于你关心的内存占用问题 #

你提到的“分步读入会生成3个DataFrame、大文件下浪费内存”的顾虑，这个链式写法可以很好的解决：

• 链式写法执行时，两个读入的DataFrame是没有被赋值给命名变量的临时对象，在merge操作执行完成后，这两个临时对象会失去所有有效引用，立刻被Python垃圾回收机制回收，不会长期占用内存
• 对比分步写法：如果先按常规方式把两个CSV分别赋值给df1、df2再执行merge，在没有手动执行del df1, df2清理的前提下，这两个中间DataFrame会一直驻留在内存中，直到脚本运行结束，确实会产生不必要的内存开销

实际使用的注意事项 #

• 链式写法的调试便利性不如分步写法：如果merge过程中出现字段不匹配、键值缺失之类的报错，没有命名的中间变量会让你没法快速单独查看两个源数据集的内容定位问题。如果后续需要频繁调试流程，可以选择分步写，在merge完成后手动删除中间变量释放内存，最终内存占用效果和链式写法没有区别
• 如果两个源CSV的体积已经大到无法同时载入内存，不管是链式还是分步写法都无法直接完成merge操作，需要提前做分块处理、数据库侧预处理等调整，和写法形式本身没有关系

内容的提问来源于stack exchange，提问作者BuJay