NonLinear-1 是一个研究小组。
我们大多数在二十岁上下。
我们平等地一起思考和讨论，所有有趣的发现都会写下来，发布在这里。
Sparse Attention 的 Algorithm–Infra Co-design ↗
从 NSA 的 block-level selection 到 DSA 的 token-level selection。
MLA, dim by dim
从一个统一的 tensor 视角看 MLA，以及它揭示的一系列结论。
NonLinear-1 是一个研究小组。
我们大多数在二十岁上下。
我们平等地一起思考和讨论，所有有趣的发现都会写下来，发布在这里。
从 NSA 的 block-level selection 到 DSA 的 token-level selection。
从一个统一的 tensor 视角看 MLA，以及它揭示的一系列结论。