Databricks中使用SparkR的insertInto插入Impala表时遇方法匹配报错

错误原因 #

SparkR的insertInto函数仅支持操作Spark DataFrame，但你传入的第一个参数是R原生的本地data.frame类型，函数找不到对应处理逻辑，因此抛出签名不匹配的报错。

修正步骤 #

1. 先初始化Spark会话（必须在转换数据之前执行）
2. 用SparkR::createDataFrame()将本地R dataframe转换为Spark DataFrame
3. 用转换后的Spark DataFrame调用insertInto

修正后的代码示例 #

require(SparkR)

# 先启动Spark会话
sparkR.session()

# 创建本地R dataframe
test_df <- data.frame(row_no = c(2,3,4,5,6,7,8)
                    ,row_dat = c('dat_2','dat_3','dat_4','dat_5','dat_6','dat_7','dat_8')
                    )

# 转换为Spark DataFrame
spark_test_df <- createDataFrame(test_df)

# 插入到Impala表
insertInto(spark_test_df, "db_name.table_name", overwrite = FALSE)

额外注意 #

• 要保证Spark DataFrame的字段名、数据类型和目标Impala表完全匹配，不然可能插入失败
• 若需要覆盖目标表数据，将overwrite参数设为TRUE

内容的提问来源于stack exchange，提问作者Sanchez333