influxdb-client-python多进程报错：无法pickle '_thread.lock'对象

错误原因 #

你遇到的TypeError("cannot pickle '_thread.lock' object")，是因为influxdb-client-python的客户端实例内部包含不可序列化的线程锁对象。在spawn模式的多进程环境中，父进程的全局对象会被尝试序列化传递给子进程，一旦遇到无法pickle的对象（比如线程锁）就会触发这个错误。

解决方案 #

核心思路是让每个子进程独立创建InfluxDB客户端实例，避免共享父进程中的任何客户端资源，同时修正pool.map的函数参数问题（pool.map会自动传递列表中的元素给目标函数，函数需要接收该参数）。

修正后的代码：

import os
import multiprocessing
from influxdb_client import InfluxDBClient

def do_stuff(_):
    # 每个子进程单独初始化客户端
    client = InfluxDBClient(
        url=os.environ["INFLUX_HOST"],
        token=os.environ["INFLUX_TOKEN"],
        org=os.environ["INFLUX_ORGANIZATION"],
    )
    query_result = client.query_api().query_raw(
        """
            from(bucket: "foo")
            |> range(start: 2023-11-07T00:00:00+00:00, stop: 2023-11-08T00:00:00+00:00)
        """
    )
    # 显式关闭客户端释放资源
    client.close()
    return query_result

if __name__ == "__main__":
    with multiprocessing.get_context("spawn").Pool() as pool:
        pool.map(
            do_stuff,
            [1, 2, 3, 4],
            chunksize=1,
        )

关键注意点 #

• 不要在父进程中提前创建InfluxDBClient实例再传递给子进程，必须让每个子进程自行初始化。
• 添加if __name__ == "__main__":保护，这是Windows系统下使用多进程的强制要求，同时也能避免Unix系统下的潜在问题。
• 子进程中创建的客户端使用完毕后显式关闭，避免资源泄漏。

内容的提问来源于stack exchange，提问作者sezanzeb