导读

近日，深圳河套学院AI训练平台（SLAI² Training Platform）团队发布技术报告《SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD》。团队作为第三方科研机构，在国产昇腾SuperPOD集群上，围绕DeepSeek-V4模型家族开展了全参数后训练工程验证。

此次工作包含两条相互衔接的验证路线：面向DeepSeek-V4模型家族构建全栈训练优化框架，验证万亿参数模型训练基础设施的可扩展性；同时，打通运筹优化领域的持续预训练、监督微调和评测流程，验证专业领域后训练闭环。两条路线共同形成了从底层算子、并行训练到数据工程和领域评测的端到端实践。

SLAI T-Rex分别验证昇腾SuperPOD训练基础设施与运筹优化后训练效果

01 验证万亿参数模型全参数后训练能力

DeepSeek-V4-Pro是1.6万亿参数级MoE模型，其混合稀疏注意力、复杂残差连接和大规模专家路由机制，对集群显存、跨卡通信、流水线调度和底层算子执行提出了系统性要求。性能剖析显示，在原始训练流程中，通信开销占设备内核时间的52.2%；张量和数据并行通信、流水线气泡以及碎片化小算子共同限制了有效算力利用率。

针对上述瓶颈，团队从三个层面开展优化：在系统层采用专家—张量并行和虚拟流水线并行，降低通信及显存压力；在调度层优化MoE token dispatch机制，以共享专家计算覆盖同步等待；在算子层开发面向AscendC的AuraKernel性能优化器，通过运筹优化建模与真实硬件反馈搜索内核分块策略，形成可复现的硬件感知优化闭环。

AuraKernel硬件感知算子优化闭环

经过并行策略优化、NPU—CPU协同和底层内核优化，DeepSeek-V4-Pro训练MFU由开源基线的11.67%提升至34.22%，达到基线的2.93倍。结果验证了国产算力集群承载万亿参数模型全参数后训练的工程可行性，也表明性能提升需要模型、系统和硬件协同优化，而非单一环节调参。

02 打通运筹优化领域后训练闭环

在基础设施验证之外，团队进一步以DeepSeek-V4模型家族为基础模型，将后训练能力落到运筹优化（Operations Research，OR）领域。此类任务要求模型从自然语言中识别变量、约束条件和目标函数，生成可由Gurobi等求解器执行的优化代码，同时检验结果的可行性与数学结构等价性，综合考验自然语言理解、数学建模、代码生成和结构化推理能力。

团队构建了持续预训练（CPT）与监督微调（SFT）相结合的数据流程，将领域资源、种子样本、中间结构表示、问题生成和求解器校验接入同一闭环，形成覆盖4类任务、3种问题形态的高质量训练样本。与单纯增加数据规模相比，该流程更强调格式规范、求解器验证和评测反馈，以提升训练数据的可执行性和结构一致性。

面向运筹优化建模的监督微调数据闭环

实验显示，加入持续预训练初始化后，SLAI T-Rex-Flash模型在B4O-ORGEval结构等价性评测上的得分由基础模型的34.26%提升至59.39%。在NL4OPT、OptiBench、B4O-Feasible和B4O-ORGEval四项运筹优化评测中，SLAI T-Rex-Pro取得77.33%的平均零样本Pass@4得分，高于同一评测设置下GPT-5.4-Mini的67.83%和基础版DeepSeek-V4-Flash的60.54%和DeepSeek-V4-Pro的70.16%。

团队同时开展了长稳训练验证：在昇腾超节点集群上，使用5万条自蒸馏数据完成DeepSeek-V4模型家族监督微调，训练期间未出现迭代跳过和NaN问题，验证了数据预处理、训练脚本、模型检查点、集群环境和监控机制之间的协同稳定性。

03 形成面向国产算力的开放训练能力

SLAI T-Rex展示的并非一次孤立的模型适配，而是一条较为完整的国产算力大模型后训练路径：以昇腾SuperPOD承载万亿参数MoE模型训练，以系统性能剖析识别真实瓶颈，以硬件感知算子优化提高有效算力利用率，再以经过求解器验证的数据和评测闭环，将训练能力转化为专业建模能力。

依托这一真实工程任务，深圳河套学院AI训练平台贯通了模型适配、并行训练、算子优化、数据工程、监督微调和评测验证等环节，为青年教师和学生提供面向国产算力和前沿模型的工程科研训练环境，也为国产AI基础设施、模型和应用场景协同迭代提供第三方验证平台。

04 下一步：强化学习与开源复现

SLAI T-Rex目前是第一阶段实践。下一步，团队将继续提升昇腾SuperPOD上的全参数后训练效率，并将后训练流程推进到智能体强化学习阶段；在运筹优化方向，将进一步扩展问题族和求解器验证能力，并使用智能体强化学习进一步提升模型的运筹优化能力。

在开放生态方面，团队将逐步开放提示模板、格式规范、训练配置、监控回调以及经过优化的AscendC内核代码，帮助更多开发者复现与研究。

相关链接

模型地址：https://www.modelscope.cn/profile/SLAIAITP

代码仓库：https://github.com/SLAI-AITP/SLAI-T-Rex

技术报告全文：https://arxiv.org/abs/2607.20145

说明：文中模型对比结果均基于技术报告所列特定运筹优化评测设置，用于反映专业建模能力，不代表模型通用能力的全面比较。