httpx流式响应async for提前break引发内存泄漏问题求解

• 你观察到的内存泄漏确实是async for循环提前中断导致的，属于流式响应使用不符合规范的问题，不是httpx框架的预期行为，也不属于底层异常bug，是对资源释放逻辑不了解导致的写法问题。
• 核心逻辑：client.stream模式下，httpx需要完整消费响应体才能自动将连接归还到连接池、释放底层IO缓冲区资源。如果中途直接break终止读取，即使退出了async with response的上下文，部分未消费的缓冲数据、挂起的连接资源仍然会被持有，不会被GC回收，反复调用后资源持续堆积就会出现内存泄漏、甚至进程崩溃。

你可以从三个维度调整代码，彻底解决泄漏问题同时保留原有省流量的特性：

1. 提前匹配到目标标签后，主动调用response.aclose()强制释放响应持有的所有资源
2. 增加最大读取长度限制，避免遇到无og:image标签的超大页面时无意义读取过多内容
3. 复用全局AsyncClient实例，避免每次请求都新建客户端带来的额外资源开销

修复后代码示例：

import httpx

# 全局复用AsyncClient，不要在函数内每次新建
async_client = httpx.AsyncClient(timeout=10)

async def get_og_image(url: str, max_read: int = 128 * 1024) -> str | None:
    """
    异步获取页面og:image标签内容，最多读取max_read字节（默认128KB）
    """
    read_bytes = 0
    og_line = None
    async with async_client.stream('GET', url, follow_redirects=True) as response:
        # 仅处理正常返回的HTML响应
        if response.status_code != 200 or "text/html" not in response.headers.get("content-type", ""):
            await response.aclose()
            return None
        async for chunk in response.aiter_lines():
            read_bytes += len(chunk)
            if "og:image" in chunk:
                og_line = chunk.strip()
                # 主动关闭响应释放所有资源
                await response.aclose()
                break
            # 超过最大读取长度直接终止，避免无意义读取超大页面
            if read_bytes >= max_read:
                await response.aclose()
                break
    return og_line

• 如果你的程序有明确的退出流程，记得在退出前调用await async_client.aclose()关闭全局客户端，清理残留资源
• 可以根据实际场景调整max_read的大小，正常情况下HTML的meta标签都在<head>区域，64KB~128KB的读取上限完全足够覆盖绝大多数场景

内容的提问来源于stack exchange，提问作者KiKoS