按城市人口比例随机抽取人员的SQL语句优化问题咨询

嘿，这个问题挺典型的——很多人一开始都会踩加权随机抽样的坑，咱们一步步拆解清楚：

你用的SELECT city_name FROM cities ORDER BY population * RAND() DESC犯了一个直观但错误的逻辑：你以为用人口乘以随机数就能按比例抽样，但实际上这个计算方式会让大城市的数值范围完全碾压小城市。

举个例子：假设纽约有1000万人口，某个小镇只有1000人。纽约的population * RAND()结果范围是0_{1000万，而小镇的结果范围是0}1000。这意味着纽约的随机数值几乎肯定比小镇的大，排序后纽约这类大城市会牢牢占据前N位，小城市连上榜的机会都没有，更别说按比例抽样了。

SELECT city_name FROM cities ORDER BY -LOG(1-RAND()) / population ASC是加权随机抽样的标准实现方式，核心是利用了指数分布的特性来实现按权重（这里的权重就是人口）比例的随机选择。

背后的数学逻辑 #

我们的目标是让每个城市被选中的概率和它的人口成正比。这个方法的原理是：

• 对每个城市，生成一个服从指数分布的随机值（-LOG(1-RAND())等价于从指数分布中抽样，因为RAND()生成(0,1)区间的均匀随机数）
• 把这个指数分布值除以城市的人口，得到一个“优先级得分”
• 按得分升序排序，得分越低的城市越先被选中

数学上可以严格证明：如果城市A的人口是w1，城市B是w2，那么A排在B前面的概率正好是w1/(w1+w2)——完美符合我们按人口比例抽样的需求。

• 效率怎么样？：这个方法的瓶颈在ORDER BY，复杂度是O(n log n)。如果你的cities表行数不是特别巨大（比如几百万以内），生成10万条样本完全没问题。如果表特别大，可以考虑加权蓄水池抽样这类不需要全表排序的算法，但日常场景下这个写法足够好用。
• 有没有更简洁的等价写法？：有！因为LOG(RAND())和-LOG(1-RAND())是等价的（都是指数分布抽样），所以你可以写成ORDER BY LOG(RAND()) / population ASC，结果完全一样。
• 怎么验证抽样比例对不对？：可以先做小样本测试，比如抽1000条数据，统计每个城市的入选次数，看是否和它的人口占比大致匹配。比如某个城市人口占总人数的5%，那它的入选次数应该在50左右，误差在统计允许的范围内就没问题。

内容的提问来源于stack exchange，提问作者Henrique Kieckbusch