You need to enable JavaScript to run this app. Python异步爬虫调用Go编译的ctypes DLL如何实现非阻塞异步等待
优惠活动
大模型
产品
解决方案
定价
更多

Python异步爬虫调用Go编译的ctypes DLL如何实现非阻塞异步等待

Python异步调用同步ctypes DLL避免阻塞的解决方案

可以在Python侧完成改造,无需修改Go端代码,核心思路是将阻塞的ctypes调用逻辑提交到独立线程执行,异步等待执行结果,避免占用事件循环主线程导致其他异步任务无法调度。

实现方案

方案1:使用asyncio.to_thread(Python 3.9+ 推荐)

asyncio.to_thread是Python 3.9新增的标准库方法,会自动将阻塞函数提交到后台线程运行,异步等待执行结果,对现有代码侵入性极低。
修改后的代码如下:

import asyncio
import json
import ctypes

async def request(self, method, url, headers, body=None, rawBody=None, pseudoHeaderOrder=["method", "authority", "scheme", "path"]):
        global httpLib
        global initFunc
        global requestFunc
        global changeProxyFunc
        global freePointerFunc
        config = {
            "id": self.cid,
            "method": method.upper(),
            "timeout": 20000,
            "url": url,
            "pseudoHeaderOrder": pseudoHeaderOrder,
            "headers": headers
        }
        if body:
            config["body"] = body
        if rawBody:
            rawBody = [b for b in bytes(rawBody, "utf-8")]
            config["rawBody"] = rawBody
        config = json.dumps(config)

        # 封装阻塞的ctypes调用逻辑为独立同步函数
        def run_sync_request():
            ptr = requestFunc(config.encode('utf-8'))
            result_str = ctypes.cast(ptr, ctypes.c_char_p).value.decode("utf-8")
            freePointerFunc(ptr)
            return result_str

        # 异步等待线程执行结果,不会阻塞事件循环
        string = await asyncio.to_thread(run_sync_request)
        # 后续业务逻辑保持不变
        # ...

方案2:使用run_in_executor(兼容Python 3.8及更低版本)

如果使用的Python版本低于3.9,可以通过事件循环的run_in_executor方法实现相同效果,只需将方案1中的await代码替换为以下内容即可:

loop = asyncio.get_running_loop()
# 第一个参数传入None则使用默认线程池,也可传入自定义ThreadPoolExecutor限制并发数
string = await loop.run_in_executor(None, run_sync_request)

注意事项

  • 确保Go编译的DLL导出的requestFunc、freePointerFunc是线程安全的,无全局变量竞态问题,否则需要加锁或者使用单线程池限制调用并发
  • 高并发场景下建议自定义ThreadPoolExecutor传入run_in_executor,设置合理的最大线程数,避免线程资源耗尽
  • 指针申请、释放逻辑必须放在同一个线程中执行,避免跨线程释放指针出现野指针问题

内容的提问来源于stack exchange,提问作者1111moritz

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.07 18:27:00