重磅发布：深圳河套学院全栈开源全球首个国产算力万亿参数MoE全参数后训练工程

导读

7月31日，深圳河套学院发布SLAI T-Rex技术报告，介绍了DeepSeek-V4系列模型在昇腾超节点上开展万亿参数MoE全参数后训练的技术方案与优化方法。

今天，SLAI T-Rex正式全栈开源，成为全球首个基于国产算力、面向万亿参数MoE大模型的全参数后训练全栈开源项目。

以模型权重、部分数据样例或训练方法为主的开源，让开发者能够使用模型、了解技术思路。但想真正复现和进一步改进万亿参数MoE模型的训练，还需要知道：环境如何搭建、并行策略如何配置、通信与计算如何协同、内存如何管理、关键算子如何适配硬件。这些工程细节，直接影响训练效率与稳定性。

SLAI T-Rex此次全栈开源，将支撑训练的这些关键环节一并开放。从环境准备、数据构建到训练执行与效果评测，开发者可以查看具体实现，理解各项优化如何配合，并结合自身的硬件条件和任务需求进行验证与改进。

这套公开的工程资源，为更多团队开展万亿参数模型后训练提供了基础，也让国产算力上的框架适配、算子优化和训练方法研究有了可复用的参考，减少从头搭建和反复摸索的成本。

01开源的七类资源与完整复现流程

深圳河套学院AI训练平台（SLAI² Training Platform）此次开放以下七类资源：

训练镜像及环境依赖

训练框架、训练代码及算子优化代码

训练数据集及数据处理流程

训练配置及关键参数

模型权重

评测集与评测方法

端到端操作与复现指导

社区可以按照指导依次完成环境部署、数据准备、任务配置、分布式训练、权重生成和效果评测，再调整并行策略、算子实现和系统配置，比较不同方案对训练效率与稳定性的影响。

02核心开源1：训练数据构建与验证方法开源

复现模型效果，需要对应的训练数据和处理流程。SLAI T-Rex同步开源训练数据及其构建方法，通过数据清洗、独立审核和代码执行验证检查样本质量。

图1 AI辅助数据质量保障流程

候选样本先由Cleaner清洗和修订，再由独立的Reviewer检查逻辑与事实一致性，最后通过代码执行验证检验是否满足相应要求。

开发者可以查看各阶段的处理过程，并结合公开的训练配置和评测方法，验证数据调整对模型效果的影响。

03核心开源2：支撑训练MFU达到38.57%的训练工程开源

进一步、复现训练MFU，需要对应的训练镜像、环境、框架、代码以及关键的算子优化，SLAIT-Rex本次全部开源。万亿参数MoE模型的全参数后训练，需要处理庞大的模型状态，并应对通信开销和计算调度问题。SLAI T-Rex结合DeepSeek-V4模型结构与昇腾超节点的硬件特性，对并行调度和关键算子进行优化。