使用R的dbWriteTable向Snowflake推送大数据框时触发编译内存耗尽错误
使用R的dbWriteTable写入Snowflake时遇编译内存耗尽问题
- 用R的
dbWriteTable函数向Snowflake数据库写入数据框:35万行数据可正常推送,但300万行时触发错误提示:SQL compilation error: Compilation memory exhausted. - 300万行的数据框保存为CSV后大小不到200MB,远未达到Snowflake社区帖子提到的引发该错误的TB级数据集规模,排除此类原因
- 已查看
showMethods("dbWriteTable", includeDefs = TRUE)的输出及相关日志,未找到明确的失败原因 - 怀疑是查询大小问题,但35万行的数据框转CSV后也远超Snowflake的1MB查询文本限制,却能正常执行,这点存在矛盾
执行的代码如下:
dbWriteTable(conn = myconn, name = table_id, value = my_df, overwrite = TRUE)
内容的提问来源于stack exchange,提问作者Kyle Zengo
相关产品推荐
相关产品推荐

