无训练数据下用梯度下降法定位V2向量误差贡献项

问题描述 #

我拥有理想向量V1与真实数据向量V2，两者分别与向量A进行点积运算，得到标量S1（V1·A）和S2（V2·A）。现需确定V2中哪些元素对误差S1-S2的贡献最大，如何在无训练数据的情况下利用梯度下降法的误差最小化思路解决该问题？

核心思路 #

要找出V2中对误差贡献最大的元素，可借助梯度下降的核心逻辑：

• 误差的本质是S2 - S1，我们将问题转化为以V2为可训练变量，最小化V2与A的点积和S1的均方误差。
• 梯度的绝对值直接反映了V2中对应元素对误差的贡献程度：梯度绝对值越大，说明该元素的当前值与理想值的偏差对整体误差的影响越显著；梯度的符号则表示调整该元素的方向（正梯度需增大元素值，负梯度需减小元素值）。
• 整个过程无需额外训练数据，因为我们的目标就是让V2的点积结果逼近S1，梯度本身就揭示了各元素的贡献权重。

实现代码 #

import numpy as np
import tensorflow as tf

@tf.function
def cost(V, A, S1):
    # 计算V与A的点积
    S = tf.tensordot(V, A, 1)
    # 计算均方误差作为损失函数
    error = tf.reduce_mean(tf.square(S - S1))
    return error

# 初始化向量A、V1、V2
A  = [float(x) for x in '7  244 39  0   0   0   0   0   47  107 0   0   0   0   152 0   0   98  0   17  0   81  0   0   0   0   25  124 0   0   0   0   0   202 0   64  141 0   0   94  19  1   0   0   28  0   177 47  56  0   0   123 138 107 254 70  0   86  0   0   0   99  179 12'.split()]
V1 = [float(x) for x in '1  2   -1  -2  3   -2  -2  -1  2   2   0   -6  0   -3  2   2   -3  4   -2  -1  -7  1   -3  2   -2  -2  2   -2  2   -4  0   -3  -3  -2  -1  1   -1  -1  -3  2   1   -1  2   -1  0   2   3   -1  1   1   -1  2   1   0   -1  0   -3  1   -1  1   1   0   2   1'.split()]
V2 = [float(x) for x in '0.8    1.4 -0.8    -1.6    2.4 -1.8    -1.4    -0.8    1.4 1.6 0   -5.4    0   -2.4    1.6 1.4 -2.2    2.8 -1.6    -0.8    -5.4    0.8 -2  1.4 -1.6    -1.6    1.4 -1.8    1.6 -3.2    0   -2.6    -2.4    -1.8    -0.8    0.8 -0.8    -0.8    -2.6    1.6 0.8 -1  1.4 -0.8    0   1.4 2.6 -0.8    0.8 0.8 -0.8    1.4 0.8 0   -0.8    0   -2.4    0.8 -0.8    0.8 0.8 0   1.4 0.8'.split()]

# 转换为numpy数组
A = np.asarray(A)
V1 = np.asarray(V1)
V2 = np.asarray(V2)
# 计算理想点积S1
S1 = V1.dot(A)

# 初始化SGD优化器
optimizer = tf.optimizers.SGD(learning_rate=0.01)
# 将V2设为可训练变量
trainable_vars = [tf.Variable(V2, dtype=tf.float32)]

# 迭代次数
epochs = 100
for _ in range(epochs):
    with tf.GradientTape() as tp:
        # 计算当前损失
        cost_fn = cost(trainable_vars[0], A, S1)
    # 计算损失对V2的梯度
    gradients = tp.gradient(cost_fn, trainable_vars)
    # 应用梯度更新V2
    optimizer.apply_gradients(zip(gradients, trainable_vars))

# 输出更新后的V2
tf.print(trainable_vars[0])

结果解读 #

1. 梯度分析：在每次迭代中，gradients数组中的每个值对应V2中对应元素的梯度，绝对值越大的梯度，代表该元素对误差的贡献越大。你可以在循环中记录梯度，对其绝对值排序后，就能找出对误差影响最显著的元素。
2. V2更新：迭代结束后，V2会被调整到更接近使点积等于S1的状态，此时V2的元素与原始值的差异也能侧面反映原始元素对误差的贡献程度——差异越大，说明原始值偏离理想值越多，对误差的贡献越大。

内容的提问来源于stack exchange，提问作者jumbofiatco