Python向agg函数传字典在Databricks报错，求替代方案

问题重现 #

你的代码在Jupyter Notebook中正常运行，但在Databricks中触发错误：

aggregate() missing 1 required positional argument: 'func'

核心原因 #

Databricks环境中，你使用的DataFrame对象大概率不是原生Pandas DataFrame：

1. 若误将PySpark DataFrame当作Pandas处理，其agg方法参数规则和原生Pandas完全不同；
2. 即使使用Databricks内置的PySpark Pandas API（Koalas），它对agg(**dict)的语法支持也和原生Pandas存在差异，导致参数解析失败。

解决方案 #

方案1：确保使用原生Pandas并调整语法 #

如果你的数据是原生Pandas DataFrame，只需修改agg的调用方式，直接传递字典而非解包：

df = df.set_index('date')

groups = ['ABC', 'XYZ']

# 合并groupby和resample的链式调用
df_grouped = df.groupby(groups).resample('Q')

df_grouped_agg = {
    'sum_area': ('shop_area', 'sum'),
    'total_count': ('name', 'count'),
    'sum_total_1': ('total_cost_customer', 'sum'),
    'sum_total_2': ('total_cost_item', 'sum'),
}

# 直接传递字典，不用**解包
df_grouped = df_grouped.agg(df_grouped_agg)

方案2：改用PySpark原生语法（若数据是Spark DataFrame） #

如果你的数据是PySpark DataFrame，建议直接使用Spark的原生聚合逻辑，更适配Databricks环境：

from pyspark.sql import functions as F

# 按分组字段+季度聚合，无需设置索引
df_grouped = df.groupBy(
    'ABC', 
    'XYZ',
    # 将date字段截断为季度
    F.date_trunc('quarter', 'date').alias('quarter')
).agg(
    F.sum('shop_area').alias('sum_area'),
    F.count('name').alias('total_count'),
    F.sum('total_cost_customer').alias('sum_total_1'),
    F.sum('total_cost_item').alias('sum_total_2')
)

额外说明 #

• 若你需要在Databricks中使用原生Pandas，确保将Spark DataFrame转换为Pandas对象：df = df.toPandas()，但注意大数据集可能引发内存问题；
• Databricks的PySpark Pandas API（Koalas）虽然模仿原生Pandas，但部分语法细节仍有差异，优先使用原生Spark或原生Pandas的标准写法可避免兼容问题。

内容的提问来源于stack exchange，提问作者ImNotSureAboutStats