如何并行运行37k行数据集处理任务以提速？附代码及问题

我正在处理一个包含37k行的大规模数据集，需对其应用自定义函数caption_from_image_file，希望通过多线程或其他方式提升处理速度。此前尝试过Spark和Dask库，但遇到了无法解决的错误，以下是我的代码：

import matplotlib.pyplot as plt

def caption_from_image_file(x):
    return [str(get_caption(i,device)) for i in x.load()]

import cv2
import numpy as np

df = dg.getData("train")
df_test = df

# 启动计时器
import time
start_time = time.time()

df_test['captions'] = df_test.images.apply(caption_from_image_file)

# 结束计时（单位：分钟）
print("--- %s minutes ---" % ((time.time() - start_time)/60))

df_test.to_csv('test.csv',index=False)

# 释放CUDA内存
torch.cuda.empty_cache()

df_test.captions

内容的提问来源于stack exchange，提问作者AymaneElmahi