如何对pyEphem对象进行Pickle以实现多进程处理？

嘿，我来帮你搞定这个多进程和pyEphem的冲突问题！你遇到的TypeError: can't pickle ephem.EarthSatellite objects，本质原因是多进程间传递数据需要序列化（pickle），但pyEphem的EarthSatellite内部包含C扩展实现的部分，没法被pickle序列化。哪怕你的并行函数没直接用这个对象，也大概率是它被隐式传递了——比如作为全局变量被子进程继承，或者藏在你传给进程的参数里（比如从SampleSats.Sats导入的GPS对象就是这类实例）。

下面给你几个可行的解决方案：

1. 不要传递EarthSatellite对象，传递可序列化的TLE数据重建 #

既然EarthSatellite不能被pickle，那我们就不在进程间传递它，而是传递它的构造参数（也就是卫星的TLE两行数据），在每个子进程内部重新创建EarthSatellite实例。

示例代码调整：

import ephem
import numpy
import math
import multiprocessing as mp
from SampleSats import Sats

# 并行函数：只接收TLE和计算所需数据，内部创建卫星对象
def calculate_sat_data(tle_lines, epoch):
    sat = ephem.EarthSatellite(tle_lines[0], tle_lines[1])
    sat.compute(epoch)
    # 你的计算逻辑：比如计算位置、高度等
    az, alt = sat.az, sat.alt
    return numpy.radians(az), numpy.radians(alt)

if __name__ == '__main__':
    # 获取GPS卫星的TLE数据（这是字符串，可序列化）
    gps_tle = [Sats.GPS.tle_line1, Sats.GPS.tle_line2]
    # 准备需要计算的epoch列表
    epochs = [ephem.Date(f'2024/01/01 {h:02d}:00:00') for h in range(24)]
    
    # 创建进程池，传递TLE和每个epoch
    with mp.Pool() as pool:
        # 用starmap传递多个参数
        results = pool.starmap(calculate_sat_data, [(gps_tle, epoch) for epoch in epochs])
    
    # 处理结果
    print(results)

2. 用进程池的initializer初始化子进程的卫星对象 #

如果每个子进程都需要用到同一个卫星对象，可以用multiprocessing.Pool的initializer参数，在每个子进程启动时单独创建EarthSatellite实例，这样就完全避免了跨进程传递对象的问题。

示例代码：

import ephem
import numpy
import math
import multiprocessing as mp
from SampleSats import Sats

# 子进程全局变量：用来存储卫星对象
worker_sat = None

def init_worker(tle_line1, tle_line2):
    """每个子进程启动时初始化卫星对象"""
    global worker_sat
    worker_sat = ephem.EarthSatellite(tle_line1, tle_line2)

def process_epoch(epoch):
    """并行处理每个epoch，直接用已初始化的worker_sat"""
    worker_sat.compute(epoch)
    # 你的计算逻辑
    return worker_sat.range

if __name__ == '__main__':
    # 获取TLE数据
    tle1, tle2 = Sats.GPS.tle_line1, Sats.GPS.tle_line2
    
    # 创建进程池，指定初始化函数和参数
    with mp.Pool(initializer=init_worker, initargs=(tle1, tle2)) as pool:
        epochs = [ephem.Date('2024/01/01 00:00:00') + i*ephem.hour for i in range(24)]
        results = pool.map(process_epoch, epochs)
    
    print(results)

3. 排查参数和全局变量中的隐式引用 #

仔细检查你的代码：

• 有没有把EarthSatellite对象作为全局变量，导致子进程启动时尝试复制它？
• 传给并行函数的参数里，有没有嵌套的字典/列表包含了EarthSatellite实例？
  如果有，把这些对象替换成可序列化的信息（比如TLE字符串、日期字符串等），在子进程内部重建所需对象。

为什么这些方法有效？ #

ephem.EarthSatellite依赖C扩展实现底层计算，这类对象无法被Python的pickle机制序列化，所以不能在进程间传递。而让每个子进程单独创建这个对象，就绕开了序列化的需求，自然不会报错啦。

内容的提问来源于stack exchange，提问作者ptrck