2025年2月12日，DeepLearning.AI宣布了一门新课程，名为“变换器中的注意机制：PyTorch中的概念和代码”，由StatQuest的创始人Joshua Starmer授课（来源：DeepLearning.AI Twitter，2025年2月12日）。这一关于变换器大型语言模型（LLM）关键元素——注意机制的课程发布，引发了 ...

清华研究团队打造时序分析大模型Timer。 大模型在语言、图像领域取得了巨大成功，时间序列作为多个行业的重要数据类型，时序领域的大模型构建尚处于起步阶段。近期，清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练，获得了任务 ...

本文来自微信公众号：Afunby的 AI Lab（ID：AI_Lab_of_Afunby），作者：Afunby，原文标题：《图解 Transformer——多头注意力》，题图来自：视觉中国 本文为图解 Transformer 的第三篇文章。在前两篇文章中，我们学习了何为 Transformer，其架构及工作原理。本文将在此基础上 ...

本文来自微信公众号：Afunby的 AI Lab（ID：AI_Lab_of_Afunby），原标题《图解 transformer——逐层介绍》，作者：Afunby，题图来自：视觉中国 为了深入理解每个组件的作用，在翻译任务中step-by-step地训练Transformer。使用只有一个样本的训练数据，其中包括一个输入序列 ...

谁曾想过，引发人工智能革命的突破竟源自一个改进机器翻译的想法？ 智东西8月21日消息，据英国《金融时报》报道，被称为“ChatGPT奠基之作”的著名架构Transformer的八位作者均已离开谷歌。Transformer的发布如同人工智能领域的“宇宙大爆炸”。八位研究人员都 ...

一个超快而且省显存的注意力算法flash attention 这个大家应该都知道了。 本文将介绍如何在模型中，使用flash attention。，也 ...

有的人加入 OpenAI，有的人成立创业公司，也有的坚守谷歌 AI。当年正是他们共同开启了今天的 AI 大发展时代。 从 ChatGPT 到 AI 画图技术，人工智能领域最近的这波突破或许都要感谢一下 Transformer。 今天是著名的 transformer 论文提交六周年的日子。 六年前，一篇 ...