雷锋网 AI 科技评论按：刚刚，在 Github 上发布了开源 Pytorch-Transformers 1.0，该项目支持 BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM 等，并包含 27 个预训练模型。 我们来看。 哪些支持 ...

PyTorch Lightning 是一种重构 PyTorch 代码的工具，它可以抽出代码中复杂重复的部分，使得 AI 研究可扩展并且可以快速迭代。然而近日一位名为 Florian Ernst 的博主却发现 PyTorch Lightning 存在一个 bug——让原本应该加速的训练变得更慢了。 本文作者 Florian Ernst Ernst 撰写 ...

这个项目登上了今天的GitHub Trending。 近一两年，Transformer 跨界 CV 任务不再是什么新鲜事了。 自 2020 年 10 月谷歌提出 Vision Transformer (ViT) 以来，各式各样视觉 Transformer 开始在图像合成、点云处理、视觉 - 语言建模等领域大显身手。 之后，在 PyTorch 中实现 Vision ...

在深度学习框架的选择上，PyTorch Lightning和Ignite代表了两种不同的技术路线。本文将从技术实现的角度，深入分析这两个框架在实际应用中的差异，为开发者提供客观的技术参考。 核心技术差异 PyTorch Lightning和Ignite在架构设计上采用了不同的方法论。Lightning通过 ...

这个项目登上了今天的GitHub Trending。 近一两年，Transformer 跨界 CV 任务不再是什么新鲜事了。 自 2020 年 10 月谷歌提出 Vision Transformer (ViT) 以来，各式各样视觉 Transformer 开始在图像合成、点云处理、视觉 - 语言建模等领域大显身手。 之后，在 PyTorch 中实现 Vision ...

Souminth Chintala 担心 Transformer 可能导致人工智能碰壁。 2017 年 Transformer 首次亮相，便迅速在 AI 领域扩散开来，CV、NLP 等任务都有其身影，越来越多的研究人员投入其中。 要说 Transformer 有多厉害，比如 OpenAI 重磅推出的 GPT-3，就是基于 Transformer 实现的。至于传播 ...

很多时候，内存限制会阻碍 ViT 以及 LLM 的训练，这篇文章介绍了 9 种减少内存消耗峰值的方法。难能可贵的是，这几种方法可以同时使用，就好像降龙十八掌中最后一掌，正是将前几张组合起来就能打出最强大的效果。 峰值内存消耗是训练深度学习模型（如 ...

Lightning AI, the startup behind the open source PyTorch Lightning framework, today announced that it raised $40 million in a Series B round led by Coatue with participation from Index Ventures, Bain, ...

Lightning’s AI code editor where AI helps debug, train, inference & ship PyTorch on GPUs. Lightning’s Environments hub, offering developers reproducible, enterprise-grade environments for ...