Transformer 模型

8 篇文章 1 个主题模块 进入文章后，左侧会展开本课程章节

01 第 13 门课程

  1. 01 序列到序列建模：Encoder–Decoder 与 Transformer 的提出 本文围绕“序列到序列建模：Encoder–Decoder 与 Transformer 的提出”对课程 ASR 进行高密度论文式重构，并围绕 sequence-to-sequence、encoder-decoder、machine translation、Transformer 检索英文原论文、官方研究页面和高校课程资料。文章不保留课堂逐句口述，而以问题背景、技术难点、形式化定义、核心机制、理论或实验依据、局限与后续发展重新组织知识，并对 →
  2. 02 注意力与自注意力：Query、Key、Value 与 Scaled Dot-Product Attention 本文围绕“注意力与自注意力：Query、Key、Value 与 Scaled Dot-Product Attention”对课程 ASR 进行高密度论文式重构，并围绕 attention、self-attention、Query、Key、Value 检索英文原论文、官方研究页面和高校课程资料。文章不保留课堂逐句口述，而以问题背景、技术难点、形式化定义、核心机制、理论或实验依据、局限与后续发展重新组织知识，并对可确认的 ASR 误识别和概 →
  3. 03 多头注意力：并行子空间、投影矩阵与信息聚合 本文围绕“多头注意力：并行子空间、投影矩阵与信息聚合”对课程 ASR 进行高密度论文式重构，并围绕 multi-head attention、attention head、projection matrix、concatenation 检索英文原论文、官方研究页面和高校课程资料。文章不保留课堂逐句口述，而以问题背景、技术难点、形式化定义、核心机制、理论或实验依据、局限与后续发展重新组织知识，并对可确认的 ASR 误识别和概念边界进行校正 →
  4. 04 残差连接与 Layer Normalization：深层 Transformer 的稳定训练 本文围绕“残差连接与 Layer Normalization：深层 Transformer 的稳定训练”对课程 ASR 进行高密度论文式重构，并围绕 residual connection、LayerNorm、Add & Norm、gradient flow 检索英文原论文、官方研究页面和高校课程资料。文章不保留课堂逐句口述，而以问题背景、技术难点、形式化定义、核心机制、理论或实验依据、局限与后续发展重新组织知识，并对可确认的 ASR →
  5. 05 Transformer Encoder：Embedding、Position、Self-Attention 与 FFN 本文围绕“Transformer Encoder：Embedding、Position、Self-Attention 与 FFN”对课程 ASR 进行高密度论文式重构，并围绕 Transformer Encoder、embedding、positional encoding、self-attention、feed-forward network 检索英文原论文、官方研究页面和高校课程资料。文章不保留课堂逐句口述，而以问题背景、技术难点、 →
  6. 06 Transformer Decoder：Masked Self-Attention、Cross-Attention 与自回归生成 本文围绕“Transformer Decoder：Masked Self-Attention、Cross-Attention 与自回归生成”对课程 ASR 进行高密度论文式重构，并围绕 Transformer Decoder、causal mask、cross-attention、autoregressive decoding、softmax 检索英文原论文、官方研究页面和高校课程资料。文章不保留课堂逐句口述，而以问题背景、技术难点、形 →
  7. 07 绝对位置编码：可学习位置向量与正弦—余弦编码 本文围绕“绝对位置编码：可学习位置向量与正弦—余弦编码”对课程 ASR 进行高密度论文式重构，并围绕 positional encoding、learned position embedding、sinusoidal encoding、sequence order 检索英文原论文、官方研究页面和高校课程资料。文章不保留课堂逐句口述，而以问题背景、技术难点、形式化定义、核心机制、理论或实验依据、局限与后续发展重新组织知识，并对可确认的 A →
  8. 08 相对位置表示：Relation-aware Self-Attention 与距离建模 本文围绕“相对位置表示：Relation-aware Self-Attention 与距离建模”对课程 ASR 进行高密度论文式重构，并围绕 relative position representation、relation-aware attention、relative distance、self-attention 检索英文原论文、官方研究页面和高校课程资料。文章不保留课堂逐句口述，而以问题背景、技术难点、形式化定义、核心机制、理 →