You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

已知概率密度函数求解MAP与LMS估计值

已知概率密度函数求解MAP与LMS估计值

咱们先把题目给的条件理清楚,方便后续推导:

  • 随机变量X的概率密度函数$f_X(x)$是分段函数:
    $$
    f_X(x)=\left{
    \begin{array}{ll}
    1/4, & 0\leq x\leq 1 \
    3/4, & 1< x \leq 2 \
    0, & \text{otherwise}
    \end{array}
    \right.
    $$
  • 给定X=x时,Y的条件概率密度函数$f_{Y|X}(y|x)$为:
    $$
    f_{Y|X}(y|x)=\left{
    \begin{array}{ll}
    \frac{y-x}{2}, & x\leq y \leq x+2 \
    0, & \text{otherwise}
    \end{array}
    \right.
    $$

现在已知观测到$Y=2.5$,要计算$\hat X_{MAP}$(MAP估计)和$\hat X_{LMS}$(LMS估计)。


一、求解$\hat X_{MAP}$(MAP估计)

MAP估计的本质是找到能让后验概率密度$f_{X|Y}(x|y)$最大的x值。根据贝叶斯公式,后验密度和$f_{Y|X}(y|x)f_X(x)$成正比(因为分母$f_Y(y)$对所有x都是常数,不影响最大化结果),所以我们只需要最大化$f_{Y|X}(2.5|x)f_X(x)$即可。

首先得确定x的有效取值范围:
从条件密度的非零区间$x\leq 2.5 \leq x+2$,解不等式得$0.5\leq x\leq2.5$,再结合$f_X(x)$的非零区间$0\leq x\leq2$,最终x的有效范围是$0.5\leq x\leq2$。

接下来分区间计算并分析$f_{Y|X}(2.5|x)f_X(x)$:

  1. 当$0.5\leq x\leq1$时
    $f_X(x)=1/4$,$f_{Y|X}(2.5|x)=\frac{2.5-x}{2}$,两者乘积为:
    $$\frac{2.5-x}{2} \times \frac{1}{4} = \frac{2.5-x}{8}$$
    这个函数是关于x的单调递减函数(x的系数为负),所以在这个区间内,最大值出现在x最小的位置,也就是$x=0.5$,此时乘积值为$\frac{2.5-0.5}{8}=0.25$。

  2. 当$1< x\leq2$时
    $f_X(x)=3/4$,$f_{Y|X}(2.5|x)=\frac{2.5-x}{2}$,两者乘积为:
    $$\frac{2.5-x}{2} \times \frac{3}{4} = \frac{3(2.5-x)}{8}$$
    这个函数同样是关于x的单调递减函数,所以在这个区间内,最大值出现在x最小的位置,也就是$x$趋近于1+的时候,此时乘积值为$\frac{3(2.5-1)}{8}=0.5625$。

现在比较两个区间的最大值:0.5625 > 0.25,所以后验密度的最大值出现在$x=1$处,因此$\hat X_{MAP}=1$。

这里要提一下,你之前的尝试只考虑了单一区间的导数,没分情况讨论x的有效范围和分段函数的不同区间,所以得出了错误的结果,下次遇到分段密度函数一定要记得分区间分析哦~


二、求解$\hat X_{LMS}$(LMS估计)

LMS估计就是条件期望$E[X|Y=2.5]$,计算公式为:
$$\hat X_{LMS} = E[X|Y=2.5] = \int_{-\infty}^{\infty} x \cdot f_{X|Y}(x|2.5) dx$$
根据贝叶斯公式,$f_{X|Y}(x|2.5)=\frac{f_{Y|X}(2.5|x)f_X(x)}{f_Y(2.5)}$,我们需要先计算分母$f_Y(2.5)$,再计算条件期望的积分。

步骤1:计算$f_Y(2.5)$

$f_Y(2.5)$是联合密度在y=2.5处的边缘密度,即:
$$f_Y(2.5)=\int_{0.5}^{2} f_{Y|X}(2.5|x)f_X(x) dx$$
分两个区间积分:

  • 区间$0.5\leq x\leq1$:
    $$\int_{0.5}^{1} \frac{2.5-x}{8} dx = \frac{1}{8}\left[2.5x - 0.5x2\right]_{0.5}1 = \frac{7}{64}$$
  • 区间$1< x\leq2$:
    $$\int_{1}^{2} \frac{3(2.5-x)}{8} dx = \frac{3}{8}\left[2.5x - 0.5x2\right]_{1}2 = \frac{3}{8}$$

将两个积分结果相加:
$$f_Y(2.5)=\frac{7}{64}+\frac{3}{8}=\frac{7}{64}+\frac{24}{64}=\frac{31}{64}$$

步骤2:计算条件期望$E[X|Y=2.5]$

$$E[X|Y=2.5]=\frac{1}{f_Y(2.5)}\left( \int_{0.5}^1 x\cdot\frac{2.5-x}{8}dx + \int_{1}^2 x\cdot\frac{3(2.5-x)}{8}dx \right)$$

分别计算两个积分:

  • 第一个积分($0.5\leq x\leq1$):
    $$\int_{0.5}^1 x\cdot\frac{2.5-x}{8}dx = \frac{1}{8}\left[1.25x^2 - \frac{x3}{3}\right]_{0.5}1 = \frac{31}{384}$$
  • 第二个积分($1< x\leq2$):
    $$\int_{1}^2 x\cdot\frac{3(2.5-x)}{8}dx = \frac{3}{8}\left[1.25x^2 - \frac{x3}{3}\right]_{1}2 = \frac{17}{32}$$

将两个积分结果相加,再除以$f_Y(2.5)$:
$$E[X|Y=2.5]=\frac{\frac{31}{384}+\frac{17}{32}}{\frac{31}{64}}=\frac{\frac{235}{384}}{\frac{31}{64}}=\frac{235}{186}\approx1.263$$

所以$\hat X_{LMS}=\frac{235}{186}$(或约等于1.263)。


备注:内容来源于stack exchange,提问作者ugjumb

火山引擎 最新活动