GPT 模型 / 第 12 门课程

GPT-3：175B 参数、上下文学习与 Zero/One/Few-shot

本文围绕“GPT-3：175B 参数、上下文学习与 Zero/One/Few-shot”对课程 ASR 进行高密度论文式重构，并围绕 GPT-3、in-context learning、few-shot、one-shot、zero-shot 检索英文原论文、官方研究页面和高校课程资料。文章不保留课堂逐句口述，而以问题背景、技术难点、形式化定义、核心机制、理论或实验依据、局限与后续发展重新组织知识，并对可确认的 ASR 误识别和概念边界进

AI 课程 · 论文式讲义 · GPT 模型 知识库文章

摘要

本文围绕“GPT-3：175B 参数、上下文学习与 Zero/One/Few-shot”对课程 ASR 进行高密度论文式重构，并围绕 GPT-3、in-context learning、few-shot、one-shot、zero-shot 检索英文原论文、官方研究页面和高校课程资料。文章不保留课堂逐句口述，而以问题背景、技术难点、形式化定义、核心机制、理论或实验依据、局限与后续发展重新组织知识，并对可确认的 ASR 误识别和概念边界进行校正。

**关键词：**GPT-3；in-context learning；few-shot；one-shot；zero-shot；scaling laws

1. 研究背景

GPT 系列把 Transformer Decoder 的自回归语言建模作为统一预训练目标。技术演化从 GPT-1 的“预训练 + 任务微调”逐步扩展到 GPT-2 的 zero-shot transfer、GPT-3 的 in-context learning，再到基于人类反馈的指令对齐。

不同代际论文对应不同模型、数据和实验条件，不能把后续产品能力反向写入早期论文。本文按原论文时间顺序区分可验证事实。

本讲进一步聚焦GPT-3：175B 参数、上下文学习与 Zero/One/Few-shot。正式分析首先需要明确该方法试图压缩哪一种计算复杂度、拟合哪一种统计规律或改进哪一类表示，再讨论公式和实现。只有把技术目标与评价标准绑定，才能避免把课堂示意性操作误写成普遍结论。

GPT-3：175B 参数、上下文学习与 Zero/One/Few-shot 技术流程图

图 1　技术主线。 将本讲知识重构为“问题表示—核心计算—评价/决策”的依赖关系。依据课程 ASR 确认的主题和本章权威资料重新绘制。

2. 核心难点

该主题的难度不仅来自公式本身，还来自模型假设、数据/状态规模和工程资源的共同约束。结合本讲内容与一手资料，可将主要问题归纳为以下四类。

难点 1

自回归目标天然适合生成，但训练似然不等价于事实正确、遵循指令或安全。

难点 2

上下文学习能力随规模出现显著变化，但对 prompt、分布和任务格式敏感。

难点 3

推理为 token 级串行生成，长上下文增加 attention/KV cache 成本。

难点 4

公开论文只支持已披露的训练与评测事实，未公开数据和实现细节不能推测。

3. 主要工作与技术路线

课程原有知识可压缩为一条完整方法链路。与课堂按幻灯片顺序逐项说明不同，本文按可复现算法过程重排如下：

  1. 构造左到右 token 序列：围绕 GPT-3 建立可验证的输入、计算与评价关系。
  2. 以 next-token likelihood 预训练 decoder：围绕 in-context learning 建立可验证的输入、计算与评价关系。
  3. 扩大数据/模型研究迁移与上下文学习：围绕 few-shot 建立可验证的输入、计算与评价关系。
  4. 按任务通过 prompt 或 fine-tuning 适配：围绕 one-shot 建立可验证的输入、计算与评价关系。
  5. 必要时加入人类反馈进行指令对齐：围绕 zero-shot 建立可验证的输入、计算与评价关系。

这些步骤共同回答三个问题：候选对象如何表示；核心计算如何改变或评价它；最终结果在什么条件下可以被视为有效。后续章节的公式、图表和实验均围绕这条链路展开。

4. 概念与形式化

上下文学习条件生成

p(y∣x,Ddemo)=∏tp(yt∣x,Ddemo,y<t)p(y\mid x,\mathcal{D}_{demo})=\prod_t p(y_t\mid x,\mathcal{D}_{demo},y_{<t})

Few-shot 示例通过上下文输入影响模型推理，而不执行梯度更新。

核心对象正式技术含义关联形式化
GPT-3GPT-3 使用 175B 参数自回归 Transformer，系统研究 zero-shot、one-shot 和 few-shot in-context learning。示例只放在上下文中，不对模型参数做梯度更新，这是它与传统 fine-tuning 的关键区别。上下文学习条件生成
in-context learningIn-context Learning 在 prompt 中提供自然语言指令或示例，使模型在一次前向上下文中适配任务，而不修改参数。上下文学习条件生成
few-shotFew-shot prompting 在上下文中给少量输入—输出示例；它不同于 few-shot fine-tuning，后者会更新模型参数。上下文学习条件生成
one-shotOne-shot 是在上下文中给一个示例后执行任务，是 GPT-3 论文评测设置之一。上下文学习条件生成
zero-shotZero-shot evaluation 在不给目标任务示例或梯度更新的情况下，仅通过任务描述/输入格式要求模型完成任务。上下文学习条件生成
scaling laws本讲核心技术对象；其定义需结合当前章节的输入、输出和假设理解。上下文学习条件生成

核心概念关系图

图 2　核心对象之间的功能关系。 图示说明表示、计算机制与评价之间的依赖，不复刻课程 PPT。

5. 核心技术机制

1. GPT-3

GPT-3 使用 175B 参数自回归 Transformer，系统研究 zero-shot、one-shot 和 few-shot in-context learning。示例只放在上下文中，不对模型参数做梯度更新，这是它与传统 fine-tuning 的关键区别。

2. in-context learning

In-context Learning 在 prompt 中提供自然语言指令或示例，使模型在一次前向上下文中适配任务，而不修改参数。

3. few-shot

Few-shot prompting 在上下文中给少量输入—输出示例；它不同于 few-shot fine-tuning，后者会更新模型参数。

4. one-shot

One-shot 是在上下文中给一个示例后执行任务，是 GPT-3 论文评测设置之一。

5. zero-shot

Zero-shot evaluation 在不给目标任务示例或梯度更新的情况下，仅通过任务描述/输入格式要求模型完成任务。

方法流程

将核心概念放回执行过程后，可以得到下表。正式算法描述必须同时给出状态更新、评价标准与终止条件，而不能只记录操作顺序。

阶段处理步骤主要技术对象
1构造左到右 token 序列GPT-3
2以 next-token likelihood 预训练 decoderin-context learning
3扩大数据/模型研究迁移与上下文学习few-shot
4按任务通过 prompt 或 fine-tuning 适配one-shot
5必要时加入人类反馈进行指令对齐zero-shot

相关对象的功能比较

对象定义使用边界
GPT-3GPT-3 使用 175B 参数自回归 Transformer，系统研究 zero-shot、one-shot 和 few-shot in-context learning。示例只放在上下文中，不对模型参数做梯度更新，这是它与传统 fine-tuning 的关键区别。主要承担表示/计算/评价链路中的一个明确角色；实际效果依赖章节所述假设与数据条件。
in-context learningIn-context Learning 在 prompt 中提供自然语言指令或示例，使模型在一次前向上下文中适配任务，而不修改参数。主要承担表示/计算/评价链路中的一个明确角色；实际效果依赖章节所述假设与数据条件。
few-shotFew-shot prompting 在上下文中给少量输入—输出示例；它不同于 few-shot fine-tuning，后者会更新模型参数。主要承担表示/计算/评价链路中的一个明确角色；实际效果依赖章节所述假设与数据条件。
one-shotOne-shot 是在上下文中给一个示例后执行任务，是 GPT-3 论文评测设置之一。主要承担表示/计算/评价链路中的一个明确角色；实际效果依赖章节所述假设与数据条件。
zero-shotZero-shot evaluation 在不给目标任务示例或梯度更新的情况下，仅通过任务描述/输入格式要求模型完成任务。主要承担表示/计算/评价链路中的一个明确角色；实际效果依赖章节所述假设与数据条件。

6. 性质、实验与证据

训练与推理的边界

模型结构定义的是可计算函数，训练算法决定参数如何从数据中估计，推理过程则在固定参数下执行预测或生成。把三者分开可以避免把训练技巧误写成网络结构，也避免把推理阶段行为反向解释成训练目标。

复杂度与工程约束

理论公式通常忽略内存带宽、并行度、batching 和数值精度。实际系统需要同时考虑参数量、激活占用、序列长度和硬件吞吐；因此“准确率更高”的组件未必适合所有在线位置，AlphaGo 的快速 rollout 与大型语言模型中的 KV cache 都体现了类似工程折衷。

对于具有明确理论条件的算法，本节优先说明正确性、最优性、收敛性或复杂度的前提；对于以实验建立有效性的学习模型，则区分训练指标、验证指标、消融实验和最终任务结果。任何数值都应绑定数据集、模型版本、硬件或搜索预算，不能脱离实验条件泛化。

7. 课程主线与事实核查

课程知识主线。 根据原 ASR，可以确认本讲的教学主线集中在 GPT-3、in-context learning、few-shot、one-shot、zero-shot、scaling laws 及其相互关系。课程中的逐图指点、重复设问、口头自我修正和非技术性铺垫均已删除；保留下来的知识被重排为“问题定义—形式化—算法/模型机制—评价—边界”的书面结构。

外部扩充边界。 外部检索材料只用于补充标准定义、原始论文结果、算法成立条件和后续技术发展；它们不会被反向写成讲师原本展示过的 PPT 参数。对纯 ASR 无法唯一恢复的图中数字、箭头和公式局部符号，正文只保留能够由上下文与权威资料共同确认的技术关系。

8. 局限与实践边界

任何课程级算法都存在适用条件。工程使用时必须重新检查数据或状态分布、目标函数、计算预算和评价协议，而不是机械复制示例超参数。随机方法应报告随机种子、重复试验与预算；学习模型应严格区分训练、验证和测试；搜索算法应明确最优性前提、重复状态处理和资源上限。

本讲涉及的核心对象之间通常存在明确折衷：更强的表示或估值可能增加计算成本，更激进的剪枝或近似可能损失保证，更复杂的模型可能需要更多数据和正则化。正式结论因此应表述为“在给定假设和评价条件下有效”，而不是无条件优于其他方法。

9. 展望

GPT 系列后续演进集中于规模化预训练、in-context learning、instruction tuning、RLHF/偏好优化、长上下文和工具使用。模型细节变化快速，技术文章应始终以具体版本的公开文献为边界。

后续技术是否构成真正改进，应使用与当前方法可比的基准、预算和评价协议验证。对于快速演进的软件或模型版本，正文只把稳定原理写入主结论，把易变化的工程参数视为版本性信息。

10. 结论

“GPT-3：175B 参数、上下文学习与 Zero/One/Few-shot”应被理解为由GPT-3、in-context learning、few-shot、one-shot、zero-shot共同构成的完整技术问题，而不是若干课堂操作的顺序记录。论文式说明必须同时回答方法解决什么问题、基于何种假设、如何计算、怎样评价以及在哪些条件下可能失效。经过 ASR 主线提取、英文一手资料检索和事实核查后，本章将原有口语课程转换为可独立阅读、可追溯来源且信息密度更高的正式技术文本。

参考文献与核查来源

  1. Radford et al. (2018). Improving Language Understanding by Generative Pre-Training. source.
  2. Radford et al. (2019). Language Models are Unsupervised Multitask Learners. source.
  3. Brown et al. (2020). Language Models are Few-Shot Learners. source.
  4. Ouyang et al. (2022). Training Language Models to Follow Instructions with Human Feedback. source.
  5. OpenAI (2022). Introducing ChatGPT — official. source.

生成流程：ASR 知识主线提取 → 论文式重构 → 英文一手资料检索与交叉核验 → 技术扩充 → SVG/表格/MathJax 排版。正文采用 UTF-8。MathJax 通过 CDN 加载；无网络时 LaTeX 源码仍保留，但完整数学排版需要可访问 MathJax。