with语句内返回生成器触发段错误的原因及正确用法

你遇到的问题核心是Python上下文管理器（with语句）生命周期和生成器惰性求值特性的错位，以下针对三个问题逐一说明：

这类在with块内直接返回生成器的写法是否需要主动避免？ #

必须主动避免。
所有依赖with块内持有的资源（文件句柄、数据库连接、网络连接等）的惰性迭代器（包括生成器表达式、自带惰性逻辑的迭代器对象），都不能直接在with块内返回。这类写法的资源生命周期和迭代生命周期完全错位，必然会触发资源提前释放的问题，和使用的第三方库无关，用Python原生文件操作就能复现完全一致的逻辑错误：

def bad_read_lines():
    with open("test.txt", "r", encoding="utf-8") as f:
        # 生成器表达式惰性求值，return时不会真正读取文件
        return (line.strip() for line in f)

# 迭代时直接报错：ValueError: I/O operation on closed file.
for line in bad_read_lines():
    print(line)

你之前移除with直接返回reader和生成器的写法，虽然规避了段错误，但存在资源泄漏隐患：如果迭代中途抛出异常、或未迭代完就丢弃生成器对象，底层文件句柄不会被主动关闭，需要等待Python垃圾回收机制回收对象时才会释放，高并发场景下很容易触发文件句柄耗尽的问题。

该问题是语法预期行为还是程序bug？ #

这是Python的标准预期行为，不属于bug。
从PEP 343定义with语句语义开始就明确：上下文管理器的作用域仅覆盖with后的缩进块，只要执行流退出该块（无论原因是正常执行完、return、抛出异常、break/continue跳转），都会立即触发上下文管理器的__exit__方法执行资源清理。
你在with块内返回生成器表达式时，生成器本身是惰性求值的，return动作仅创建生成器对象，不会执行任何块内的迭代读取逻辑，等你后续在外部迭代生成器时，with块早已退出，底层文件已经被关闭，读取已关闭的文件句柄自然会报错。这里pandas抛出段错误只是异常处理不够友好（正常应抛出明确的IO异常），但核心逻辑完全符合Python的语法设计。

保留官方推荐with语句的正确实现方式 #

要让with的生命周期完整覆盖整个生成器迭代周期，不能直接返回生成器表达式，需要把迭代逻辑封装到内部生成器函数中，让with语句位于生成器函数内部：

• 调用外层函数时仅创建生成器对象，不会立刻打开文件
• 开始迭代生成器时才会进入内部函数，执行with逻辑初始化reader、打开文件
• 迭代过程中with块始终处于激活状态，资源不会被释放
• 无论迭代是正常完成、中途break、还是抛出异常，都会正常退出with块触发资源清理，不会泄漏
  重构后的可正常运行代码如下：

import pandas as pd

def custom_read(path, sep="|", **kwargs):
    chunksize = kwargs.get("chunksize")
    # 不分块场景逻辑保持不变
    if chunksize is None:
        df_ = pd.read_csv(path, sep=sep, **kwargs)
        return format_df(df_, path)
    # 分块场景用内部生成器包裹with逻辑
    def _chunk_iter():
        with pd.read_csv(path, sep=sep, **kwargs) as reader:
            for chunk in reader:
                yield format_df(chunk, path)
    return _chunk_iter()

这个实现完全兼容你之前的调用方式，既符合pandas推荐的上下文管理器使用规范，也不会触发段错误，同时避免了资源泄漏问题。

小优化提示：原代码用kwargs.get("chunksize", False)判断是否分块存在逻辑隐患，如果用户显式传入chunksize=0这类非法值会触发误判，直接判断chunksize is None更贴合pandas本身的参数逻辑（pandas默认chunksize=None代表不分块读取）。

内容的提问来源于stack exchange，提问作者user12932966