AWS Glue读取ORC文件路径拼接报错问题求助

问题根源 #

拆分Lambda传入的竖线分隔参数时，路径元素首尾残留空格，拼接后Spark将空格识别为路径分隔符，导致解析出多个冲突的目录结构，触发错误。

解决方案 #

1. 拆分参数时清除空格

对拆分后的每个路径元素执行首尾空格清理，避免无效空格带入路径：

# 从Glue作业参数获取INPUT
input_str = args.get("INPUT", "")
# 拆分并清理每个部分，同时过滤空字符串
parts = [p.strip() for p in input_str.split("|") if p.strip()]
# 按参数结构提取对应字段：OriginBucket、多Dependencies、分区信息
origin_bucket = parts[0]
dependencies = parts[1:-1]
partition_info = parts[-1]

2. 安全拼接S3路径

使用格式化字符串直接拼接，避免手动拼接引入空格或格式错误：

# 构造完整S3路径列表
s3_paths = []
for dep_path in dependencies:
    full_path = f"s3://{origin_bucket}/{dep_path}/{partition_info}"
    s3_paths.append(full_path)

3. 过滤无效路径

传入Spark前，过滤掉格式错误的路径，避免干扰解析：

valid_s3_paths = [path for path in s3_paths if path.startswith("s3://")]

4. 从源头避免空格（Lambda端优化）

在Lambda构造INPUT参数时，直接用竖线拼接各部分，避免手动添加空格：

# Lambda中构造参数示例
origin_bucket = "my-bucket"
dependencies = ["path1/subpath", "path2/subpath"]
partition_info = "year=2024/month=05"
input_param = "|".join([origin_bucket] + dependencies + [partition_info])

调试验证 #

在Glue作业中添加日志打印，确认最终路径无空格：

print("Valid S3 paths to read:", valid_s3_paths)

检查日志输出，确保每个路径都是标准S3格式（如s3://my-bucket/path1/subpath/year=2024/month=05），无空格或无效字符。

最终读取ORC #

将清理后的路径传入Spark：

df = spark.read.orc(*valid_s3_paths)

内容的提问来源于stack exchange，提问作者Robertino Bonora