如何在ClickHouse中直接实现单样本Student's T-test并输出p值？

完全可以不用导出数据到Python，直接在ClickHouse里通过组合内置统计函数实现单样本t-test并计算p值。核心思路是基于单样本t-test的统计公式，用ClickHouse现有函数计算所需统计量，再推导t值和p值。

实现步骤与示例SQL #

假设你有一张表test_data，包含待分析的数值字段value，要检验该字段的总体均值是否等于某个指定值（比如5），可以用以下SQL：

WITH
    -- 计算样本统计量
    (SELECT count(*) FROM test_data) AS sample_size,
    (SELECT avg(value) FROM test_data) AS sample_mean,
    (SELECT stddevSamp(value) FROM test_data) AS sample_std_dev, -- 样本标准差（除以n-1）
    5 AS hypothesized_mean -- 假设的总体均值
SELECT
    sample_size,
    sample_mean,
    sample_std_dev,
    -- 计算t统计量
    (sample_mean - hypothesized_mean) / (sample_std_dev / sqrt(sample_size)) AS t_statistic,
    -- 计算双侧检验的p值
    2 * least(
        studentTDistribution(sample_size - 1, t_statistic),
        1 - studentTDistribution(sample_size - 1, t_statistic)
    ) AS p_value

关键函数说明 #

• stddevSamp()：计算样本标准差（分母为n-1），符合单样本t-test的统计要求，不要误用总体标准差函数stddevPop()。
• studentTDistribution(df, x)：返回自由度为df的学生t分布在x处的累积分布函数值，用于推导p值。
• sqrt()：计算平方根，用于计算标准误（样本标准差除以样本量的平方根）。

单侧检验的p值计算 #

如果需要做单侧检验：

• 检验总体均值大于假设值：p值为1 - studentTDistribution(sample_size - 1, t_statistic)
• 检验总体均值小于假设值：p值为studentTDistribution(sample_size - 1, t_statistic)

内容的提问来源于stack exchange，提问作者ningl