Python异步爬虫调用Go编译的ctypes DLL如何实现非阻塞异步等待
Python异步调用同步ctypes DLL避免阻塞的解决方案
可以在Python侧完成改造,无需修改Go端代码,核心思路是将阻塞的ctypes调用逻辑提交到独立线程执行,异步等待执行结果,避免占用事件循环主线程导致其他异步任务无法调度。
实现方案
方案1:使用asyncio.to_thread(Python 3.9+ 推荐)
asyncio.to_thread是Python 3.9新增的标准库方法,会自动将阻塞函数提交到后台线程运行,异步等待执行结果,对现有代码侵入性极低。
修改后的代码如下:
import asyncio import json import ctypes async def request(self, method, url, headers, body=None, rawBody=None, pseudoHeaderOrder=["method", "authority", "scheme", "path"]): global httpLib global initFunc global requestFunc global changeProxyFunc global freePointerFunc config = { "id": self.cid, "method": method.upper(), "timeout": 20000, "url": url, "pseudoHeaderOrder": pseudoHeaderOrder, "headers": headers } if body: config["body"] = body if rawBody: rawBody = [b for b in bytes(rawBody, "utf-8")] config["rawBody"] = rawBody config = json.dumps(config) # 封装阻塞的ctypes调用逻辑为独立同步函数 def run_sync_request(): ptr = requestFunc(config.encode('utf-8')) result_str = ctypes.cast(ptr, ctypes.c_char_p).value.decode("utf-8") freePointerFunc(ptr) return result_str # 异步等待线程执行结果,不会阻塞事件循环 string = await asyncio.to_thread(run_sync_request) # 后续业务逻辑保持不变 # ...
方案2:使用run_in_executor(兼容Python 3.8及更低版本)
如果使用的Python版本低于3.9,可以通过事件循环的run_in_executor方法实现相同效果,只需将方案1中的await代码替换为以下内容即可:
loop = asyncio.get_running_loop() # 第一个参数传入None则使用默认线程池,也可传入自定义ThreadPoolExecutor限制并发数 string = await loop.run_in_executor(None, run_sync_request)
注意事项
- 确保Go编译的DLL导出的
requestFunc、freePointerFunc是线程安全的,无全局变量竞态问题,否则需要加锁或者使用单线程池限制调用并发 - 高并发场景下建议自定义
ThreadPoolExecutor传入run_in_executor,设置合理的最大线程数,避免线程资源耗尽 - 指针申请、释放逻辑必须放在同一个线程中执行,避免跨线程释放指针出现野指针问题
内容的提问来源于stack exchange,提问作者1111moritz
相关产品推荐
相关产品推荐

