ε/k是什么？其在ε-greedy算法及论文公式中的含义解析

一、ε/k的基本定义 #

简单来说，这里的ε是ε-greedy算法里的探索率（控制我们愿意分配多少概率去尝试未知臂的核心参数），k是多臂老虎机问题中臂的总数。ε/k就是把全部探索概率ε平均分配给每一个臂，每个臂能分到的探索类选择概率就是这个值。

二、它在ε-greedy算法中的产生逻辑 #

咱们先从标准ε-greedy的核心逻辑说起：算法每次选择臂时，会在「利用（选当前经验最优的臂）」和「探索（随机选一个臂）」之间做权衡：

• 用1-ε的概率做「利用」：直接选择当前经验均值最高的臂；
• 用ε的概率做「探索」：从所有k个臂里均匀随机挑选一个。

在探索阶段，每个臂被选中的概率自然就是ε除以k，也就是ε/k。这时候你会发现，当前最优臂的总被选概率其实是「利用阶段的1-ε」加上「探索阶段的ε/k」，而其他非最优臂的总被选概率就是ε/k——这就是ε/k在算法里的由来，它是探索概率均匀分配后的结果。

三、论文《Algorithms for multi armed bandits》第6页公式中ε/k的含义 #

你注意到的这个细节其实是对ε-greedy算法的严谨数学表述。论文里的公式把选择概率拆解得更清晰：

• 对于当前经验均值最高的臂，它的被选概率是 (1-ε) + ε/k：其中1-ε是纯粹的利用概率，ε/k是它在探索阶段被随机选中的概率；
• 对于其他每一个臂，它们的被选概率只有ε/k：也就是只来自探索阶段的均匀随机选择。

为什么要这么写？因为标准的「随机选一个臂」探索逻辑里，最优臂本身也属于被随机选中的范围——我们的探索是无差别地给所有臂平等的尝试机会，哪怕它已经是当前最优的。把ε/k单独列出来，就能清晰展示每个臂的选择概率是如何由「利用」和「探索」两部分组成的，避免有人误以为探索阶段只会选非最优臂。

内容的提问来源于stack exchange，提问作者satoshi N