使用AWS Wrangler对接LakeFS时Parquet分区失效问题求助

我原本使用AWS Wrangler在S3上成功对Parquet文件进行分区，使用的代码如下：

basename_template = 'part.'
partitioning = ['cust_id', 'file_name', 'added_year', 'added_month', 'added_date']
loop = asyncio.get_event_loop()
s3_path = "s3://customer-data-lake/main/parquet_data"
await loop.run_in_executor(None, lambda: wr.s3.to_parquet(
   df=batch.to_pandas() ,
   path=s3_path,
   dataset=True,
   max_rows_by_file=MAX_ROWS_PER_FILE,
   use_threads=True,
   partition_cols = partitioning,
   mode='append',
   boto3_session=s3_session,
   filename_prefix=basename_template
 ))

之后切换到LakeFS，仅修改了AWS Wrangler的S3端点配置：

wr.config.s3_endpoint_url = lakefsEndPoint

但此时分区功能突然失效，所有数据仅追加到同一个分区中。以下分别是S3上正常的分区结构截图和LakeFS上异常的截图：

问题排查与解决方向 #

• 路径格式不符合LakeFS规范：LakeFS的S3兼容路径必须包含仓库名和分支名前缀，格式为s3://<仓库名>/<分支名>/<数据路径>。当前s3_path未遵循该规则，会导致分区目录无法正确创建，需调整路径为符合LakeFS要求的格式。
• boto3会话未同步更新端点：仅修改wr.config.s3_endpoint_url不够，原代码中使用的s3_session仍可能指向原生S3。需重新配置s3_session的端点信息，示例如下：

  import boto3
  s3_session = boto3.Session()
  s3_client = s3_session.client(
      's3',
      endpoint_url=lakefsEndPoint,
      aws_access_key_id=your_access_key,
      aws_secret_access_key=your_secret_key
  )
  

• 显式指定分区格式：AWS Wrangler默认的分区格式可能在LakeFS下兼容性不佳，可在wr.s3.to_parquet中添加partition_format="{col}={val}"参数，强制使用标准Hive分区格式。
• 检查LakeFS权限与路径存在性：确认目标分支和路径在LakeFS中已存在，且当前会话拥有写入权限。LakeFS权限模型与S3不同，需确保用户具备对应分支的写入权限以及目录创建权限。

内容的提问来源于stack exchange，提问作者Anon