本论文的第一作者徐志伟，山东大学通用智能实验室助理教授。于 2024 年在中国科学院自动化研究所获博士学位，研究内容主要为强化学习、多智能体系统与基于大语言模型的 AI Agent。曾获得 2025 年度中国智能体与多智能体系统优秀博士论文提名等荣誉 ...

这篇论文来自Yoshua Bengio的实验室，而标题并不起眼「Neural Machine Translation by Jointly Learning to Align and Translate」。 或许很多人都没有听说过这篇论文，但它是NLP中最伟大的里程碑之一，已经被引用了29K次（相比之下，Transformer为77K）。

有多少龙虾在互联网上裸奔？AI 智能体带着你的密码和 API 密钥暴露给全网。 Transformer 作者 Illia Polosukhin 看不下去了。出手从零重构了安全版龙虾：IronClaw。 IronClaw 目前已在 GitHub 上开源，提供 macOS、Linux 和 Windows 的安装包，支持本地部署，也支持通过云端托管。项目仍处于快速迭代阶段，v0.15.0 版本的二进制文 ...

2025年12月，NeurIPS大会在圣地亚哥举行。Radical Ventures的播客节目Radical Talks录制了一期特别对话，由该基金联合创始人Jordan Jacobs主持，嘉宾是Geoffrey 辛顿和Jeff Dean。

他们从Transformer内部工作原理出发，经过一系列实验对以上问题得出了结论。团队表示深入理解这些原理不仅能提高现有模型利用效率，还能帮助改进架构开发新的变体。 谷歌DeepMind研究员、ViT作者Lucas Beyer看过后直接点了个赞： ...

因为公众号平台更改了推送规则。记得点右下角的大拇指“赞”和红心“推荐”。这样每次新文章推送，就会第一时间出现在订阅号列表里。 由于Transformer模型的出现和快速发展，深度学习领域正在经历一场翻天覆地的变化。这些突破性的架构不仅重新定义了 ...

近年来，随着大语言模型规模与知识密度不断提升，研究者开始重新思考一个更本质的问题：模型中的参数应如何被组织，才能更高效地充当「记忆」。 在标准 Transformer 的 FFN 中，知识主要隐式存储在 up-projection 等密集矩阵里，并通过输入相关的矩阵乘法被动态激活，这种方式在表达力上有效，但在参数可寻址性、可编辑性与系统效率上存在天然限制。 围绕这一问题，学术界与工业界逐渐将目光投 ...

导语：非 Transformer 面临的共同考验依然是证明自己的天花板有多高。 【雷峰网(公众号：雷峰网)】2017年谷歌发表的论文《Attention Is All You Need》成为当下人工智能的一篇圣经，此后席卷全球的人工智能热潮都可以直接追溯到 Transformer 的发明。 Transformer 由于其 ...

Top 3 Leading Chinese Substation Transformer Manufacturers Based on 2026 market analysis, export volume, technological capability, and North American market penetration, the following three companies ...