WeLM+DeepSeek模型加持 ...

视觉脑机接口的终极目标，是建立大脑神经皮层与外部视觉感知的双向交互通道，从“单向理解”走向“双向交互”，既能从大脑神经活动中重建出视觉信息（读脑），也能把视觉信息自然写入神经皮层（写脑），同时保证“读脑”与“写脑”过程的可交互性与 ...

再引入KNorm以稳定attention logit。 还额外引入了2-head over-encoding模块以降低训练loss，和一层MoE当作Multi-Token Prediction（MTP）层，用来在推理阶段支持speculative decoding。 另外，在此基础上，WeLM创新KV-Mirror这套U形共享和归一化稳定方案。