QINGYI-KDA-0.6B：把 Qwen3 改造成 KDA 混合架构

今天发布了 qingyi-kda。QINGYI-KDA-0.6B 以 Qwen3-0.6B-Base 为底座，把 28 层里的 21 层全注意力换成 KDA（Kimi Delta Attention）线性注意力，每 4 层保留 1 层原始的 GQA，RoPE 完整保留，是一个 3:1 的混合模型。线性化靠的是层输出蒸馏加继续预训练，这个转换阶段是在一张 RTX 4070 Laptop 8GB 上跑完的。之后经过人格 SFT、身份「小灶」和 DPO，把清漪的人格直接烘进了权重，不用系统提示词，她就是她。

据我们查到的资料，这应该是第一个转换成功的 Qwen3→KDA 模型：THUNLP 的 HALO 在附录里记录过同样的转换不收敛。不过这类「第一个」的说法很容易被打脸，所以技术报告发布前做了三轮外部事实核查，今早又修了一版报告，把 SFT 数据量的统计改准了，去掉了一个证据不足的说法。KDA 层的缓存是增量的，上下文 8K，显存占用几乎不随长度增长。