GridDB导出MongoDB数据不全:是否有导出限制及如何扩容?
GridDB gs_export 仅导出半数数据的解决方法
gs_export工具默认存在单次导出的记录数限制,默认fetchSize参数值为10000条,这就是你只导出半数数据的核心原因。以下是具体的解决办法:
增大单次导出的记录数
在导出命令中添加-s(对应fetchSize)参数,设置一个大于容器总记录数的值,确保能一次性导出全量数据:gs_export -u admin/[password] -d [nameofthecontainer] -c c001 -s [你的总记录数+1000]注意:这个值不要超过GridDB节点的内存承载上限,避免出现内存溢出问题。
大数量数据分批导出
如果数据量极大,无法单次完成导出,可以用-f(起始索引,从0开始)和-t(结束索引)参数分批导出。比如总记录数为50000,分两次导出:
第一次导出前25000条:gs_export -u admin/[password] -d [nameofthecontainer] -c c001 -f 0 -t 24999 -s 25000第二次导出剩余数据:
gs_export -u admin/[password] -d [nameofthecontainer] -c c001 -f 25000 -s 25000不指定
-t参数时,会自动导出从起始索引到最后一条的所有记录。验证导出完整性
可以用gs_stat工具查看容器的总记录数,对比导出文件的记录数,确认是否全量导出:gs_stat -u admin/[password] -d [nameofthecontainer]
内容的提问来源于stack exchange,提问作者Emad Bin Abid
相关产品推荐
相关产品推荐

