已知概率密度函数求解MAP与LMS估计值
咱们先把题目给的条件理清楚,方便后续推导:
- 随机变量X的概率密度函数$f_X(x)$是分段函数:
$$
f_X(x)=\left{
\begin{array}{ll}
1/4, & 0\leq x\leq 1 \
3/4, & 1< x \leq 2 \
0, & \text{otherwise}
\end{array}
\right.
$$ - 给定X=x时,Y的条件概率密度函数$f_{Y|X}(y|x)$为:
$$
f_{Y|X}(y|x)=\left{
\begin{array}{ll}
\frac{y-x}{2}, & x\leq y \leq x+2 \
0, & \text{otherwise}
\end{array}
\right.
$$
现在已知观测到$Y=2.5$,要计算$\hat X_{MAP}$(MAP估计)和$\hat X_{LMS}$(LMS估计)。
一、求解$\hat X_{MAP}$(MAP估计)
MAP估计的本质是找到能让后验概率密度$f_{X|Y}(x|y)$最大的x值。根据贝叶斯公式,后验密度和$f_{Y|X}(y|x)f_X(x)$成正比(因为分母$f_Y(y)$对所有x都是常数,不影响最大化结果),所以我们只需要最大化$f_{Y|X}(2.5|x)f_X(x)$即可。
首先得确定x的有效取值范围:
从条件密度的非零区间$x\leq 2.5 \leq x+2$,解不等式得$0.5\leq x\leq2.5$,再结合$f_X(x)$的非零区间$0\leq x\leq2$,最终x的有效范围是$0.5\leq x\leq2$。
接下来分区间计算并分析$f_{Y|X}(2.5|x)f_X(x)$:
当$0.5\leq x\leq1$时:
$f_X(x)=1/4$,$f_{Y|X}(2.5|x)=\frac{2.5-x}{2}$,两者乘积为:
$$\frac{2.5-x}{2} \times \frac{1}{4} = \frac{2.5-x}{8}$$
这个函数是关于x的单调递减函数(x的系数为负),所以在这个区间内,最大值出现在x最小的位置,也就是$x=0.5$,此时乘积值为$\frac{2.5-0.5}{8}=0.25$。当$1< x\leq2$时:
$f_X(x)=3/4$,$f_{Y|X}(2.5|x)=\frac{2.5-x}{2}$,两者乘积为:
$$\frac{2.5-x}{2} \times \frac{3}{4} = \frac{3(2.5-x)}{8}$$
这个函数同样是关于x的单调递减函数,所以在这个区间内,最大值出现在x最小的位置,也就是$x$趋近于1+的时候,此时乘积值为$\frac{3(2.5-1)}{8}=0.5625$。
现在比较两个区间的最大值:0.5625 > 0.25,所以后验密度的最大值出现在$x=1$处,因此$\hat X_{MAP}=1$。
这里要提一下,你之前的尝试只考虑了单一区间的导数,没分情况讨论x的有效范围和分段函数的不同区间,所以得出了错误的结果,下次遇到分段密度函数一定要记得分区间分析哦~
二、求解$\hat X_{LMS}$(LMS估计)
LMS估计就是条件期望$E[X|Y=2.5]$,计算公式为:
$$\hat X_{LMS} = E[X|Y=2.5] = \int_{-\infty}^{\infty} x \cdot f_{X|Y}(x|2.5) dx$$
根据贝叶斯公式,$f_{X|Y}(x|2.5)=\frac{f_{Y|X}(2.5|x)f_X(x)}{f_Y(2.5)}$,我们需要先计算分母$f_Y(2.5)$,再计算条件期望的积分。
步骤1:计算$f_Y(2.5)$
$f_Y(2.5)$是联合密度在y=2.5处的边缘密度,即:
$$f_Y(2.5)=\int_{0.5}^{2} f_{Y|X}(2.5|x)f_X(x) dx$$
分两个区间积分:
- 区间$0.5\leq x\leq1$:
$$\int_{0.5}^{1} \frac{2.5-x}{8} dx = \frac{1}{8}\left[2.5x - 0.5x2\right]_{0.5}1 = \frac{7}{64}$$ - 区间$1< x\leq2$:
$$\int_{1}^{2} \frac{3(2.5-x)}{8} dx = \frac{3}{8}\left[2.5x - 0.5x2\right]_{1}2 = \frac{3}{8}$$
将两个积分结果相加:
$$f_Y(2.5)=\frac{7}{64}+\frac{3}{8}=\frac{7}{64}+\frac{24}{64}=\frac{31}{64}$$
步骤2:计算条件期望$E[X|Y=2.5]$
$$E[X|Y=2.5]=\frac{1}{f_Y(2.5)}\left( \int_{0.5}^1 x\cdot\frac{2.5-x}{8}dx + \int_{1}^2 x\cdot\frac{3(2.5-x)}{8}dx \right)$$
分别计算两个积分:
- 第一个积分($0.5\leq x\leq1$):
$$\int_{0.5}^1 x\cdot\frac{2.5-x}{8}dx = \frac{1}{8}\left[1.25x^2 - \frac{x3}{3}\right]_{0.5}1 = \frac{31}{384}$$ - 第二个积分($1< x\leq2$):
$$\int_{1}^2 x\cdot\frac{3(2.5-x)}{8}dx = \frac{3}{8}\left[1.25x^2 - \frac{x3}{3}\right]_{1}2 = \frac{17}{32}$$
将两个积分结果相加,再除以$f_Y(2.5)$:
$$E[X|Y=2.5]=\frac{\frac{31}{384}+\frac{17}{32}}{\frac{31}{64}}=\frac{\frac{235}{384}}{\frac{31}{64}}=\frac{235}{186}\approx1.263$$
所以$\hat X_{LMS}=\frac{235}{186}$(或约等于1.263)。
备注:内容来源于stack exchange,提问作者ugjumb




