icCube ETL缓存表仅加载100行，如何缓存全量数据？

看起来你遇到的是默认数据加载限制的问题——很多ETL/BI工具在使用table()方法时，为了预览性能会默认只拉取前100行数据，小数据集刚好能覆盖，但大数据集就会被截断。结合你用同一张表构建父子层级正常（可能层级逻辑触发了全量加载），但直接count()只拿到100行的情况，给你几个针对性的解决办法：

1. 显式设置全量加载参数 #

检查你使用的工具是否支持在table()方法中指定全量加载的参数，很多平台会提供fetchAll或limit这类配置，把它设为-1或null来取消行数限制：

// 示例1：添加fetchAll参数（根据工具语法调整）
var df = table("costcenter structure", {fetchAll: true});
var n = df.count();
debug ("************************** count: " + n);

// 示例2：用limit取消限制
var df = table("costcenter structure").limit(-1); // -1代表无行数限制

2. 强制触发全量缓存加载 #

有些缓存机制是懒加载模式，只有执行特定操作时才会拉取完整数据。你可以先执行一次全量扫描操作，确保数据全部加载到缓存：

var df = table("costcenter structure");
// 强制全量加载（collect或空遍历都可以触发）
df.collect(); 
// 或者 df.foreach(function(row) {});
var n = df.count();
debug ("************************** count: " + n);

3. 检查工具全局缓存配置 #

不少ETL平台会在全局设置里有“默认预览行数”的配置（比如默认100行），用于测试阶段快速预览。你可以找到这个配置项，把它调整为更大的值或者设为0（表示无限制），这样所有table()调用都会默认加载全量数据。

4. 验证实际加载行数 #

可以尝试打印前200行数据，确认是否真的只有100行被加载：

var df = table("costcenter structure");
df.take(200).forEach(function(row, index) {
    debug("Row " + index + ": " + JSON.stringify(row));
});

如果打印结果超过100行，那可能是debug日志被截断了，而非缓存没加载全量数据，但这种情况比较少见。

另外你提到父子层级构建正常，大概率是递归遍历父节点的逻辑触发了全量数据拉取，而直接count()时工具还没完成完整加载，所以显式触发全量加载应该能解决你的问题。

内容的提问来源于stack exchange，提问作者Arthur