不要想的太过复杂,就只有随机数生成的三个矩阵,原始输入已经通过矩阵相乘关联在三个随机数矩阵中,再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵,再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重,三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏,没有什么复杂的逻辑问题。
。
为什么浙江落下的陨石,防空系统没有拦截,它和导弹有什么不同?
为什么浙江落下的陨石,防空系统没有拦截,它和导弹有什么不同?...(144 )人阅读时间:2025-06-21 09:00:11
如何看待不超过1879元的Mac mini(M4+16/256GB+票),易用性吊打同级其他台式电脑?
如何看待不超过1879元的Mac mini(M4+16/256GB+票),易用性吊打同级其他台式电脑?...(144 )人阅读时间:2025-06-21 08:35:11
央企的信创,是否有必要把 spring 替换成国产的 solon ?
央企的信创,是否有必要把 spring 替换成国产的 solon ?...(144 )人阅读时间:2025-06-21 08:05:10
字节跳动技术副总裁开源了自己与Trae合作的首个项目,如何评价目前AI开发的水平?
字节跳动技术副总裁开源了自己与Trae合作的首个项目,如何评价目前AI开发的水平?...(144 )人阅读时间:2025-06-21 08:35:11我国的军工能力可以实现一天5000枚火箭弹连着炸三个月吗?
我国的军工能力可以实现一天5000枚火箭弹连着炸三个月吗?...2020-02-21如何评价苹果 3 月 5 日发布的 MacBook Air M4,相比前代有哪些提升?
如何评价苹果 3 月 5 日发布的 MacBook Air M4,相比前代有哪些提升?...2020-02-21MiniMax Week第三天推出通用 Agent,体验如何?对行业会带来哪些影响?
MiniMax Week第三天推出通用 Agent,体验如何?对行业会带来哪些影响?...2020-02-21你们认为一个40多岁的女人老吗?
你们认为一个40多岁的女人老吗?...2020-02-21