深入解析transformer反向传播

作者: 连博AI说

作者简介: 北京大学数院计算数学博士，前百度凤巢主任架构师

描述: 在本期视频中，我们详细介绍了张量下的链式法则，并基于此对Transformer在矩阵形式下的求导进行了全面推演。这将有助于大家更好地理解Flash Attention等Transformer加速技术。欢迎观看！

深入解析transformer反向传播

推荐视频

注意力机制的本质|Self-Attention|Transformer|QKV矩阵

注意力机制的本质|Self-Attention|Transformer|QKV矩阵

上传者: 蘅芜仙菌

【B站最新】吴恩达详细讲解Transformer工作原理，小白教程，全程干货无尿点，学完你就是AGI的大佬！（附课件+代码）

【B站最新】吴恩达详细讲解Transformer工作原理，小白教程，全程干货无尿点，学完你就是AGI的大佬！（附课件+代码）

上传者: 吴恩达-AI大模型

反向传播算法可视化展示

反向传播算法可视化展示

上传者: 红橙在等你

【精读AI论文】知识蒸馏

【精读AI论文】知识蒸馏

上传者: 同济子豪兄

Transformer从零详细解读(可能是你见过最通俗易懂的讲解)

Transformer从零详细解读(可能是你见过最通俗易懂的讲解)

上传者: DASOU讲AI

(2025最新) 吴恩达详细讲解Transformer工作原理！手把手教小白入门AI大模型，不怕学不会！【附代码课件】

(2025最新) 吴恩达详细讲解Transformer工作原理！手把手教小白入门AI大模型，不怕学不会！【附代码课件】

上传者: 吴恩达讲大模型

超强动画，一步一步深入浅出解释Transformer原理！

超强动画，一步一步深入浅出解释Transformer原理！

上传者: Eve的科学频道

【强化学习的数学原理】课程：从零开始到透彻理解（完结）

【强化学习的数学原理】课程：从零开始到透彻理解（完结）

上传者: 西湖大学WindyLab

从编解码和词嵌入开始，一步一步理解Transformer，注意力机制(Attention)的本质是卷积神经网络(CNN)

从编解码和词嵌入开始，一步一步理解Transformer，注意力机制(Attention)的本质是卷积神经网络(CNN)

上传者: 王木头学科学

5分钟-通俗易懂 - 神经网络 反向传播算法（手算）

5分钟-通俗易懂 - 神经网络 反向传播算法（手算）

上传者: 望舒同学

什么是神经网络？看一个动画，就全明白了

什么是神经网络？看一个动画，就全明白了

上传者: 动画讲编程

3分钟通俗讲解注意力机制到底怎么乘的

3分钟通俗讲解注意力机制到底怎么乘的

上传者: PLOG-棱

反向传播太难？计算图让你秒懂！

反向传播太难？计算图让你秒懂！

上传者: 懂点AI事儿

从矩阵乘法探秘transformer+代码讲解

从矩阵乘法探秘transformer+代码讲解

上传者: 连博AI说

什么是 Attention（注意力机制）？【知多少】

什么是 Attention（注意力机制）？【知多少】

上传者: KnowingAI知智

反向传播 Back Propagation （手把手推导）

反向传播 Back Propagation （手把手推导）

上传者: 大红豆小薏米

解密旋转位置编码：数学基础、代码实现与绝对编码一体化探索

解密旋转位置编码：数学基础、代码实现与绝对编码一体化探索

上传者: 连博AI说

[5分钟深度学习] #02 反向传播算法

[5分钟深度学习] #02 反向传播算法

上传者: 风中摇曳的小萝卜

(超爽中英!) 2024公认最好的【吴恩达深度学习】教程！附课件代码 Professionalization of Deep Learning

(超爽中英!) 2024公认最好的【吴恩达深度学习】教程！附课件代码 Professionalization of Deep Learning

上传者: 吴恩达深度学习

揭秘变分自编码器(VAE)背后的数学原理+代码实现

揭秘变分自编码器(VAE)背后的数学原理+代码实现

上传者: 连博AI说

超强动画，一步一步深入浅出解释Transformer原理！只需花三小时吃透Transformer架构以及注意力机制！

超强动画，一步一步深入浅出解释Transformer原理！只需花三小时吃透Transformer架构以及注意力机制！

上传者: 大模型微调

白话transformer（二）_QKV矩阵

白话transformer（二）_QKV矩阵

上传者: AI蒸馏

(超爽中英!) 2025吴恩达大模型【Transformer】原理解析教程！附书籍代码 DeepLearning.AI

(超爽中英!) 2025吴恩达大模型【Transformer】原理解析教程！附书籍代码 DeepLearning.AI

上传者: 吴恩达大模型

54、Probabilistic Diffusion Model概率扩散模型理论与完整PyTorch代码详细解读

54、Probabilistic Diffusion Model概率扩散模型理论与完整PyTorch代码详细解读

上传者: deep_thoughts

什么是 BP 算法（反向传播）？【知多少】

什么是 BP 算法（反向传播）？【知多少】

上传者: KnowingAI知智

vllm源码浅析（一）

vllm源码浅析（一）

上传者: fhgxb

有难度但必读的一篇论文《DeepSeekMath》

有难度但必读的一篇论文《DeepSeekMath》

上传者: LLM张老师

【官方双语】直观解释注意力机制，Transformer的核心 | 【深度学习第6章】

【官方双语】直观解释注意力机制，Transformer的核心 | 【深度学习第6章】

上传者: 3Blue1Brown

通俗易懂-大模型的关键技术之一：旋转位置编码rope （1）

通俗易懂-大模型的关键技术之一：旋转位置编码rope （1）

上传者: 望舒同学

LLMs-Zero-to-Hero，完全从零手写大模型，从数据处理到模型训练，细节拉满，一小时学会。 build a nanoGPT from scratch

LLMs-Zero-to-Hero，完全从零手写大模型，从数据处理到模型训练，细节拉满，一小时学会。 build a nanoGPT from scratch

上传者: chaofa用代码打点酱油

19、Transformer模型Encoder原理精讲及其PyTorch逐行实现

19、Transformer模型Encoder原理精讲及其PyTorch逐行实现

上传者: deep_thoughts

Attention机制（大白话系列）

Attention机制（大白话系列）

上传者: 陈qt师兄啊

Transformer论文逐段精读【论文精读】

Transformer论文逐段精读【论文精读】

上传者: 跟李沐学AI

图解大模型的KV Cache——图解+transformers源码阅读

图解大模型的KV Cache——图解+transformers源码阅读

上传者: 良睦路程序员

用了毕生功力录制的缝模块大法，看多少赚多少，看完直接飞升一区仙人

用了毕生功力录制的缝模块大法，看多少赚多少，看完直接飞升一区仙人

上传者: 科研水神大队长

批判微调：学习批判比学习模仿更有效

批判微调：学习批判比学习模仿更有效

上传者: AI论文小小编

deepseek 全网最硬核解读(五) Moe详解

deepseek 全网最硬核解读(五) Moe详解

上传者: 学车辆的算法工程师

直接带你把Transformer手搓一遍，这次总能学会Transformer了吧！

直接带你把Transformer手搓一遍，这次总能学会Transformer了吧！

上传者: 眼镜搞不懂AI

《手撕神经网络前向传播和反向传播》#神经网络 #AI #博士日常 #学习心得 #同济大学

《手撕神经网络前向传播和反向传播》#神经网络 #AI #博士日常 #学习心得 #同济大学

上传者: 旧城-卡卡

【全40集】AI大模型-LLM多模态视觉大模型视频精讲教程

【全40集】AI大模型-LLM多模态视觉大模型视频精讲教程

上传者: 橘凉栀