C₂₂H₂₅NO₆
博客

开源清漪计划(QOSP):配方、报告和全部失败记录

· 约 1 分钟

今天把 open-qingyi,也就是开源清漪计划(QOSP),整理出来公开了:训练代码、qingyi_kda 包、逐步复现的配方,还有一份从 v1 到 v3 的完整技术报告。最新一代的流程是:v3 手术(21 层 KDA + 7 层 GQA)→ 分层对齐 → 端到端 forward-KL 蒸馏 → 选择题、古诗、翻译的格式专项 → 人格 SFT → 身份小灶 → DPO 抛光。

我最想公开的其实是失败记录。v3 在分层对齐阶段,交叉熵已经降得很好看,C-Eval 却还躺在随机线上的 25% 左右,教会了我一件事:perplexity 会撒谎。一直到格式专项修好了接口,分数才跳回 41% 以上,最终版本 C-Eval 是 41.83%(基座是 50.59%)。这些弯路写清楚了,后来的人就不用再走一遍。