昨天（4月16日），Anthropic发布了Claude Opus ...

当我们看到一张猫咪照片时，大脑自然就能识别「这是一只猫」。但对计算机来说，它看到的是一个巨大的数字矩阵 —— 假设是一张 1000×1000 像素的彩色图片，实际上是一个包含 300 万个数字的数据集（1000×1000×3 个颜色通道）。每个数字代表一个像素点的颜色 ...

Tokenization，一直是实现真正端到端语言模型的最后一个障碍。 我们终于摆脱 tokenization 了吗？ 答案是：可能性无限大。 最近，Mamba 作者之一 Albert Gu 又发新研究，他参与的一篇论文《 Dynamic Chunking for End-to-End Hierarchical Sequence Modeling 》提出了一个分层网络 H-Net ...

导语：如何从头开始训练自己的语言模型？ 在过去的几周里，我们对 transformers 和 tokenizers 库进行了一些改进，目的是让从头开始训练新的语言模型变得更加容易。 在本文中，我们将演示如何用世界语训练一个「小」模型（84 M，6 个层，768 个隐藏层，12 个注意 ...

FAST：提升机器人训练效率的动作Tokenizer。 【导读】研究者提出了FAST，一种高效的动作Tokenizer。通过结合离散余弦变换（DCT）和字节对编码（BPE），FAST显著缩短了训练时间，并且能高效地学习和执行复杂任务，标志着机器人自回归Transformer训练的一个重要突破。

从 ChatGPT 到文心一言，大模型已成产品革新的关键。但要真正理解它们的能力，产品经理必须掌握底层的语言处理机制。这篇文章将拆解 Tokenizer 与 Embedding 的核心逻辑，用产品视角解析 AI 如何“读懂”语言。 当我们向 ChatGPT 输入 “帮我写一封请假邮件” 时 ...