Raschka 在图集中把各模型的专家数量、激活比例、专家隐藏层尺寸都标注出来，让稀疏程度一目了然。Hacker News 上有人感慨：“我很惊讶这些模型在结构上有多相似，主要差异就是层的大小。” ...

2026 年的前两个月，开源大模型的发布节奏已快至令人应接不暇。Arcee AI 的 Trinity Large、月之暗面的 Kimi K2.5、阿里的 Qwen3.5、智谱 AI 的 GLM-5、Cohere 的 Tiny Aya……它们的名称如流水般接踵而至，参数量从 3B 至 1T 不等，每一款都宣称是“SOTA”或者“最强开源”。 然而，如此快的更新速度，对于普通开发者而言，莫说深入研究， ...