Google Cloud Functions使用gcsfs触发RuntimeError: This class is not fork-safe问题问询

这个错误是Google Cloud Functions Python运行时的fork执行模型和gcsfs的初始化逻辑冲突导致的：

• GCSFileSystem实例初始化时会创建底层异步IO客户端、连接池类资源，这类资源不支持跨进程fork操作
• 新版的gcsfs依赖项fsspec新增了fork安全校验机制，在全局作用域初始化GCSFileSystem时，云函数的父进程加载代码阶段就会完成实例化，后续fork出来处理请求的子进程访问这个全局实例时就会触发校验，抛出RuntimeError: This class is not fork-safe错误
• 此前部署的函数能正常运行，是因为当时拉取的依赖版本没有加入该校验逻辑，新部署时拉取了更新的依赖子版本才触发了报错。升级gcsfs没有解决问题，是因为问题的核心是实例初始化时机错误，而非gcsfs版本本身的bug。

最标准的修复方案是调整GCSFileSystem的实例化时机，避免全局预初始化：

方案1：函数内初始化（最简单） #

把实例化逻辑直接移到请求处理函数内部即可，不需要改动依赖版本：

main.py代码 #

import gcsfs

def try_gcsfs(request):
    fs = gcsfs.GCSFileSystem(project='project-name-1234')
    with fs.open(r'any_csv_file_in_cloud_bucket.csv', 'rb') as f:
        lines = []
        for line in f:
            lines.append(line.decode(errors='ignore'))

    print('success')

requirements.txt配置不变 #

gcsfs==2021.10.0

方案2：懒加载全局复用（性能最优） #

如果想要避免每次请求都重复初始化实例，提升热启动场景的性能，可以用懒加载方式实现全局复用：

优化版main.py代码 #

import gcsfs
from typing import Optional

fs: Optional[gcsfs.GCSFileSystem] = None

def try_gcsfs(request):
    global fs
    if fs is None:
        # 首次请求时在子进程上下文内初始化，后续热启动请求复用实例
        fs = gcsfs.GCSFileSystem(project='project-name-1234')
    
    with fs.open(r'any_csv_file_in_cloud_bucket.csv', 'rb') as f:
        lines = []
        for line in f:
            lines.append(line.decode(errors='ignore'))

    print('success')

该方案性能和原全局初始化写法一致，同时兼容fork运行模型的校验规则。

内容的提问来源于stack exchange，提问作者John F。