为什么我还是无法理解transformer？
来源：
编辑：
时间：2025-06-25 02:00:16
不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
-
{dede:pagebreak/}
网友评论：
{dede:include file='ajaxfeedback.htm' /}
栏目分类
最新文章
- 为什么负荷那么大的腰部力量训练的人不会受伤，长期无载荷久坐的人会出现腰肌劳损？
- 如何评价鸿蒙电脑无法编写其自身运行的程序？
- 美国国务卿称将开始吊销中国学生签证，包括在关键领域学科学生，影响有多大？在美中国留学生该怎样应对？
- 东风、长安为什么不合并了？
- 什么是歼20完全体？
- 微软宣布 5 月 28 日开始下架「Microsoft 远程桌面」应用，背后原因有哪些？
- 你干过最牛的一件事是什么？
- 苹果 6 月 10 日召开的 2025 年全球开发者大会「WWDC25」，有哪些值得关注的信息？
- 为何有人说儒家文化下极容易产生「伪君子」？它的道德教化不是以平等和尊重的为前提的吗？
- 为什么Rust的包管理器Cargo这么好用？
热门文章