概率基础：随机变量、期望、方差、条件概率与分布

摘要

本文围绕“概率基础：随机变量、期望、方差、条件概率与分布”对课程 ASR 进行高密度论文式重构，并围绕 random variable、expectation、variance、conditional probability、Bayes theorem 检索英文原论文、官方研究页面和高校课程资料。文章不保留课堂逐句口述，而以问题背景、技术难点、形式化定义、核心机制、理论或实验依据、局限与后续发展重新组织知识，并对可确认的 ASR 误识别和概念边界进行校正。

**关键词：**random variable；expectation；variance；conditional probability；Bayes theorem；softmax

1. 研究背景

现代大语言模型的主要计算可以还原为高维张量的线性代数运算和关于概率分布的优化。理解矩阵维度、内积、范数、条件概率、期望和方差，是正确阅读 Attention、Softmax、Maximum Likelihood 与 RL 推导的前提。

本文只保留与后续模型直接相关的数学工具，并强调符号维度和概率条件，而不把预备知识扩展成完整线性代数或概率论课程。

本讲进一步聚焦概率基础：随机变量、期望、方差、条件概率与分布。正式分析首先需要明确该方法试图压缩哪一种计算复杂度、拟合哪一种统计规律或改进哪一类表示，再讨论公式和实现。只有把技术目标与评价标准绑定，才能避免把课堂示意性操作误写成普遍结论。

图 1　技术主线。 将本讲知识重构为“问题表示—核心计算—评价/决策”的依赖关系。依据课程 ASR 确认的主题和本章权威资料重新绘制。

2. 核心难点

该主题的难度不仅来自公式本身，还来自模型假设、数据/状态规模和工程资源的共同约束。结合本讲内容与一手资料，可将主要问题归纳为以下四类。

难点 1

符号维度不一致会使看似合理的公式实际上无法计算。

难点 2

概率、期望与经验统计量必须区分，否则容易把模型输出误当真实频率。

难点 3

数值实现还存在溢出、下溢和有限精度误差。

难点 4

数学工具只有在明确变量语义和模型位置时才具有解释价值。

3. 主要工作与技术路线

课程原有知识可压缩为一条完整方法链路。与课堂按幻灯片顺序逐项说明不同，本文按可复现算法过程重排如下：

1. 定义对象、维度与概率空间：围绕 random variable 建立可验证的输入、计算与评价关系。
2. 给出运算/随机变量定义：围绕 expectation 建立可验证的输入、计算与评价关系。
3. 检查代数或概率条件：围绕 variance 建立可验证的输入、计算与评价关系。
4. 说明在模型公式中的实际角色：围绕 conditional probability 建立可验证的输入、计算与评价关系。
5. 通过小规模例子验证维度与数值：围绕 Bayes theorem 建立可验证的输入、计算与评价关系。

这些步骤共同回答三个问题：候选对象如何表示；核心计算如何改变或评价它；最终结果在什么条件下可以被视为有效。后续章节的公式、图表和实验均围绕这条链路展开。

4. 概念与形式化

数学期望

$\mathbb E[X]=\sum_xx\,p(x)\quad\text{或}\quad\int x f(x)dx$

强化学习目标和最大似然训练经常写成关于数据/策略分布的期望。

方差

$\operatorname{Var}(X)=\mathbb E[(X-\mathbb E X)^2]$

采样估计的方差直接影响优化稳定性与样本效率。

条件概率

$p(A\mid B)=\frac{p(A\cap B)}{p(B)}$

语言模型本质上学习大规模条件概率。

核心对象	正式技术含义	关联形式化
random variable	随机变量把随机试验结果映射为数值。概率模型通过随机变量的联合/条件分布表示不确定性，训练目标常是最大似然或期望风险。	数学期望 / 方差 / 条件概率
expectation	期望是关于概率分布的加权平均。机器学习中的 population risk、策略回报、梯度期望等通常无法精确求和，因此用有限样本均值或 Monte Carlo 估计。	数学期望 / 方差 / 条件概率
variance	方差度量随机变量围绕均值的离散程度。高方差估计会造成训练不稳定；baseline、mini-batch、control variate 等技术都可以从降低估计方差的角度理解。	数学期望 / 方差 / 条件概率
conditional probability	条件概率描述在已知事件/上下文条件下目标事件的概率，是语言模型 p(token	context) 的直接数学对象。 | 数学期望 / 方差 / 条件概率
Bayes theorem	Bayes Theorem 把后验分解为似然乘先验再除以证据，是生成式分类和概率推断的基本恒等式。	数学期望 / 方差 / 条件概率
softmax	Softmax 把 logits 转成正数且和为 1 的分类分布。它保持排序但会受温度与 logit 尺度影响，概率值也不自动保证 calibration。	数学期望 / 方差 / 条件概率

图 2　核心对象之间的功能关系。 图示说明表示、计算机制与评价之间的依赖，不复刻课程 PPT。

5. 核心技术机制

1. random variable

随机变量把随机试验结果映射为数值。概率模型通过随机变量的联合/条件分布表示不确定性，训练目标常是最大似然或期望风险。

2. expectation

期望是关于概率分布的加权平均。机器学习中的 population risk、策略回报、梯度期望等通常无法精确求和，因此用有限样本均值或 Monte Carlo 估计。

3. variance

方差度量随机变量围绕均值的离散程度。高方差估计会造成训练不稳定；baseline、mini-batch、control variate 等技术都可以从降低估计方差的角度理解。

4. conditional probability

条件概率描述在已知事件/上下文条件下目标事件的概率，是语言模型 p(token|context) 的直接数学对象。

5. Bayes theorem

Bayes Theorem 把后验分解为似然乘先验再除以证据，是生成式分类和概率推断的基本恒等式。

6. softmax

Softmax 把 logits 转成正数且和为 1 的分类分布。它保持排序但会受温度与 logit 尺度影响，概率值也不自动保证 calibration。

方法流程

将核心概念放回执行过程后，可以得到下表。正式算法描述必须同时给出状态更新、评价标准与终止条件，而不能只记录操作顺序。

阶段	处理步骤	主要技术对象
1	定义对象、维度与概率空间	random variable
2	给出运算/随机变量定义	expectation
3	检查代数或概率条件	variance
4	说明在模型公式中的实际角色	conditional probability
5	通过小规模例子验证维度与数值	Bayes theorem

相关对象的功能比较

对象	定义	使用边界
random variable	随机变量把随机试验结果映射为数值。概率模型通过随机变量的联合/条件分布表示不确定性，训练目标常是最大似然或期望风险。	主要承担表示/计算/评价链路中的一个明确角色；实际效果依赖章节所述假设与数据条件。
expectation	期望是关于概率分布的加权平均。机器学习中的 population risk、策略回报、梯度期望等通常无法精确求和，因此用有限样本均值或 Monte Carlo 估计。	主要承担表示/计算/评价链路中的一个明确角色；实际效果依赖章节所述假设与数据条件。
variance	方差度量随机变量围绕均值的离散程度。高方差估计会造成训练不稳定；baseline、mini-batch、control variate 等技术都可以从降低估计方差的角度理解。	主要承担表示/计算/评价链路中的一个明确角色；实际效果依赖章节所述假设与数据条件。
conditional probability	条件概率描述在已知事件/上下文条件下目标事件的概率，是语言模型 p(token	context) 的直接数学对象。 | 主要承担表示/计算/评价链路中的一个明确角色；实际效果依赖章节所述假设与数据条件。
Bayes theorem	Bayes Theorem 把后验分解为似然乘先验再除以证据，是生成式分类和概率推断的基本恒等式。	主要承担表示/计算/评价链路中的一个明确角色；实际效果依赖章节所述假设与数据条件。

6. 性质、实验与证据

符号与维度纪律

矩阵公式最常见错误不是算术，而是维度不一致。阅读大型语言模型推导时，应在每个张量旁明确 batch、sequence、hidden 和 head 维度，并区分逐元素乘法、矩阵乘法和广播。

概率估计

期望与概率在机器学习中通常由有限样本估计，因此必须区分随机变量、真实分布、经验分布和模型分布。Softmax 输出是模型归一化概率，不自动等价于校准后的真实事件频率。

对于具有明确理论条件的算法，本节优先说明正确性、最优性、收敛性或复杂度的前提；对于以实验建立有效性的学习模型，则区分训练指标、验证指标、消融实验和最终任务结果。任何数值都应绑定数据集、模型版本、硬件或搜索预算，不能脱离实验条件泛化。

7. 课程主线与事实核查

课程知识主线。 根据原 ASR，可以确认本讲的教学主线集中在 random variable、expectation、variance、conditional probability、Bayes theorem、softmax 及其相互关系。课程中的逐图指点、重复设问、口头自我修正和非技术性铺垫均已删除；保留下来的知识被重排为“问题定义—形式化—算法/模型机制—评价—边界”的书面结构。

外部扩充边界。 外部检索材料只用于补充标准定义、原始论文结果、算法成立条件和后续技术发展；它们不会被反向写成讲师原本展示过的 PPT 参数。对纯 ASR 无法唯一恢复的图中数字、箭头和公式局部符号，正文只保留能够由上下文与权威资料共同确认的技术关系。

8. 局限与实践边界

任何课程级算法都存在适用条件。工程使用时必须重新检查数据或状态分布、目标函数、计算预算和评价协议，而不是机械复制示例超参数。随机方法应报告随机种子、重复试验与预算；学习模型应严格区分训练、验证和测试；搜索算法应明确最优性前提、重复状态处理和资源上限。

本讲涉及的核心对象之间通常存在明确折衷：更强的表示或估值可能增加计算成本，更激进的剪枝或近似可能损失保证，更复杂的模型可能需要更多数据和正则化。正式结论因此应表述为“在给定假设和评价条件下有效”，而不是无条件优于其他方法。

9. 展望

这些线性代数与概率工具将在 Attention、Language Modeling、PPO 与 RLHF 中反复出现。进一步学习应把符号推导与实际张量维度、数值稳定性和自动微分实现对应起来。

后续技术是否构成真正改进，应使用与当前方法可比的基准、预算和评价协议验证。对于快速演进的软件或模型版本，正文只把稳定原理写入主结论，把易变化的工程参数视为版本性信息。

10. 结论

“概率基础：随机变量、期望、方差、条件概率与分布”应被理解为由random variable、expectation、variance、conditional probability、Bayes theorem共同构成的完整技术问题，而不是若干课堂操作的顺序记录。论文式说明必须同时回答方法解决什么问题、基于何种假设、如何计算、怎样评价以及在哪些条件下可能失效。经过 ASR 主线提取、英文一手资料检索和事实核查后，本章将原有口语课程转换为可独立阅读、可追溯来源且信息密度更高的正式技术文本。

参考文献与核查来源

1. MIT OpenCourseWare. 18.06 Linear Algebra — Gilbert Strang. source.
2. Stanford CS109. Probability for Computer Scientists. source.

生成流程：ASR 知识主线提取 → 论文式重构 → 英文一手资料检索与交叉核验 → 技术扩充 → SVG/表格/MathJax 排版。正文采用 UTF-8。MathJax 通过 CDN 加载；无网络时 LaTeX 源码仍保留，但完整数学排版需要可访问 MathJax。