概率论与统计学的关联深度解析及相关概念疑问与文献推荐请求

尊敬的Stack OverFlow社区：

我目前在梳理概率论与统计学的交叉关联时，有几个概念性的问题想请教大家。

先说说我已经理清的部分：我知道二者有不少基础关联——比如在统计学里，我们会通过样本去推断总体概率分布的参数，之后就能用这些参数去评估未来事件的概率。换句话说，统计学是从「逆向」视角出发，用收集到的数据反推总体参数；而这些参数又能用到概率论的「正向」评估里，去计算未来结果的概率。

我还了解到，从样本推断参数可以用maximum likelihood estimation（极大似然估计）这类方法。拿linear regression（线性回归）举例，我们会用到normal distribution（正态分布）的probability density function（概率密度函数，pdf），把参数估计值（均值和方差）代入到线性回归方程（b0 + b1*x）对应的正态分布pdf里算出似然估计值，最终选的参数就是能让这个似然值最大化的那一组。

目前我的整体认知是：我们把概率论里的概念（比如概率密度函数）用到统计学中，给所用的概率分布找到基于数据的具体参数值，再用这些参数估计去评估未来结果的可能概率。

但我在把概率论更多内容和统计学概念关联起来时遇到了瓶颈，比如：

• 我知道joint probability distributions（联合概率分布）可以推导marginal probabilities（边缘概率）和conditional probabilities（条件概率），也知道条件概率已经用到了linear regression（线性回归）这类场景里，但我搞不懂它们之间的实质性关联。比如协方差矩阵的底层是不是联合概率分布？
• 联合概率分布和边缘概率分布在统计学里到底有什么相关性（我已经明白条件概率分布的相关性了）？
• 会不会我找的研究方向完全错了？是不是我问的问题本身就有问题？
• 概率论与统计学还有哪些其他的关联方式？

我希望能得到有深度的实质性解答。另外，如果有人能推荐一些不过于侧重数学推导、更聚焦于概率论与统计分析关联的概念性文献，我会非常感激！

内容的提问来源于stack exchange，提问作者Mike