如何将DataFrame写入AWS Athena表？遇ValueError报错求解

触发错误的直接原因 #

你遇到的ValueError: need more than 2 values to unpack来自两处代码问题：

1. 未定义path变量就调用read_parquet #

最后一行wr.s3.read_parquet(path, dataset=True)里的path是未声明的变量，Python无法解析这个引用，直接导致参数解析错误。

2. S3路径设置不符合数据集模式要求 #

当使用dataset=True时，to_parquet的path需要指向一个用于存储Parquet文件的普通S3目录，而你写的s3://client/awsdatacatalog/里的awsdatacatalog是Athena的默认数据目录标识，不是实际的S3存储路径，这会导致AWSwrangler无法正确解析数据集的存储结构。

修正后的完整代码 #

import awswrangler as wr
import pandas as pd

df = pd.DataFrame({
"id": [1, 2, 3],
"value": ["foo", "boo", "zoo"],
"name": ["teddy", "timmy", "tommy"]
})
print(df)

# 定义实际的S3存储目录，用于存放Parquet数据集
s3_dataset_path = "s3://client/datasets/newtable/"

# 写入数据集并同步到Athena表
wr.s3.to_parquet(
    df=df,
    path=s3_dataset_path,
    dataset=True,
    mode="overwrite",
    database="client_rs",
    table="newtable"
)

# 使用已定义的路径读取数据集
read_df = wr.s3.read_parquet(s3_dataset_path, dataset=True)
print(read_df)

额外检查项 #

• 确认client_rs数据库已存在，若不存在可提前执行wr.catalog.create_database("client_rs")创建。
• 验证AWS权限：确保当前角色/用户拥有S3读写、Athena表操作、Glue Data Catalog访问的权限。

内容的提问来源于stack exchange，提问作者ASH