TensorFlow如何判断张量已创建完成可用于模型训练
TensorFlow.js大张量就绪状态判断方法
TF.js的张量操作默认采用延迟执行机制,你看到的同步API只是把计算逻辑加入底层操作队列,不会立刻完成CPU/GPU侧的实际计算,所以直接当成同步操作使用确实可能出现数据还没准备好就进入训练流程的问题,可以通过以下几种方法确认张量已经就绪:
方法1:调用张量实例的data()方法
data()会返回一个Promise,当Promise resolve时就代表该张量的所有前置计算(包括数据加载、归一化除法等)都已经执行完成,数据可用。示例代码如下:
// 注意张量形状参数必须为整数,建议对比例计算结果取整 const trainTensor = tf.tensor4d(new Uint8Array(xsTrainBuffer), [Math.floor(42000 * 0.9), 28, 28, 1]).div(255); // 等待张量准备完成 await trainTensor.data(); // 此时张量可直接传入模型训练 model.fit(trainTensor, trainLabel, { // 训练配置 });
如果你的运行场景允许主线程阻塞,也可以用dataSync()方法,调用后会直接阻塞直到张量计算完成,无需异步等待,但大张量使用该方法容易导致页面无响应,非必要不推荐。
方法2:调用全局tf.ready()方法
tf.ready()会返回一个Promise,等到当前所有排入队列的TF.js操作全部执行完成后resolve,适合同时处理多个张量、不需要单独读取单个张量数据的场景:
const trainTensor = tf.tensor4d(new Uint8Array(xsTrainBuffer), [Math.floor(42000 * 0.9), 28, 28, 1]).div(255); const testTensor = tf.tensor4d(new Uint8Array(xsTestBuffer), [Math.floor(42000 * 0.1), 28, 28, 1]).div(255); // 等待所有张量操作完成 await tf.ready(); // 所有张量均已就绪,可以开始训练/评估
内容的提问来源于stack exchange,提问作者Vladimir Topolev
相关产品推荐
相关产品推荐

