Prefect写入GCS时路径变量格式异常问题求助

问题本质 #

这是路径分隔符的跨系统兼容问题：

• Python的Path对象会根据运行系统自动适配分隔符——Windows系统下会生成带反斜杠\的路径字符串；
• GCS遵循类Unix文件系统规则，仅将正斜杠/视为路径层级分隔符，反斜杠会被当作文件名的一部分，因此无法创建层级文件夹，反而生成了带反斜杠的单个文件。

你的代码中，write_local返回的Path对象在Windows环境下被序列化为带反斜杠的字符串，当传入upload_from_path的to_path参数时，直接被GCS SDK使用，导致路径格式错误。

解决方案 #

以下是几种可行的修复方式：

方案1：用Path.as_posix()获取类Unix风格路径（推荐） #

Path.as_posix()方法会直接返回带正斜杠的路径字符串，完美适配GCS的路径规则：

@task
def write_gcs(path: Path) -> None:
    """Upload local parquet file to GCS"""
    gcs_block = GcsBucket.load("zoom-gcs")
    # 转换为正斜杠分隔的路径
    gcs_path = path.as_posix()
    gcs_block.upload_from_path(from_path=path, to_path=gcs_path)
    return

方案2：手动替换路径分隔符 #

如果不想修改Path对象的调用方式，可以直接将Path转为字符串后替换反斜杠：

@task
def write_gcs(path: Path) -> None:
    """Upload local parquet file to GCS"""
    gcs_block = GcsBucket.load("zoom-gcs")
    gcs_path = str(path).replace("\\", "/")
    gcs_block.upload_from_path(from_path=path, to_path=gcs_path)
    return

方案3：构建路径时直接使用正斜杠 #

在write_local中构建路径时，就生成带正斜杠的字符串（注意要调整返回类型注解）：

@task()
def write_local(df: pd.DataFrame, color: str, dataset_file: str) -> str:
    """Write DataFrame out locally as parquet file"""
    Path(f"data/{color}").mkdir(parents=True, exist_ok=True)
    # 直接生成正斜杠分隔的路径字符串
    path = Path(f"data/{color}/{dataset_file}.parquet").as_posix()
    df.to_parquet(path, compression="gzip")
    return path

验证 #

修改后，GCS上的路径会变为data/yellow/yellow_tripdata_2021-01.parquet，系统会自动识别层级结构，创建对应的文件夹。

内容的提问来源于stack exchange，提问作者Juan Lozano