现在，这项研究背后更多细节被公开了！来自Karpathy与真正作者两年前的邮件往来，引起了很多讨论。 一作Dzmitry Bahdanau，当时是Bengio实验室的一位实习生，在实习只剩5周时灵光一现提出了一个简化方案，相当于实现了对角注意力。

AI这个圈子有一个很神奇的特点：就是复利性基本为零。 每次我看到类似「202X年，入行YYY方向还来得及吗？」的问题的时候，我都会想到这个特点。 原因其实很简单，我只从科研上举一些例子。比方说从2023年之后入行做生成的小伙伴，你大概率不用再去了解基于GAN的一些知识，因为就算你弄得很懂，对于diffusion ...