从数学、代码、复杂理，到多轮器用调用，大模子的好多智商的莳植都离不开 RL 后检会。但当模子领域参加 MoE 万亿参数别之后，RL 不再仅仅个算法问题，同期加是个系统问题。

检会侧需要容纳纷乱的模子权重、梯度和化器现象；rollout 侧需要执续生成样本，并保执充足的朦拢；reference policy 又会朝上放大存和调遣压力。同期，好多 RL 系统在检会时使用较精度模子，而真是 rollout 或部署时使用低精度 serving 模子。这些精度各异，终会体面前部署果与 RL 果的不致上。

通过将 base model 固定在部署时使用的低精度暗示，并只新 adapter，Orbit 将 Kimi-K2.6、DeepSeek V4 别的 1T 模子 RL 后检会压缩到单台 8×B200 上完成。同期，检会和 rollout 使用同条低精度 base + adapter 旅途，从系统层面撤消了检会模子与 rollout / 部署模子之间的精度不致。

Orbit 作念到「让万亿模子参加单节点 RL 区间」这件事的真义在于：

避了「检会精度」和「部署精度」不致带来的偏差，从而带来踏实的 RL 后检会；

单节点 RL 不错著缩小多节点检会时的通讯时延与故障率；

在雷同的 HBM 预算下，模子会赢得宽的检会空间，当年需要多卡能力训的模子，有契机被压缩到单卡。

官博客：https://spherelab.ai/orbit/

Github：https://github.com/Sphere-AI-Lab/orbit

Orbit：复旧万亿参数模子 RL 微调的框架

存限度：如下图 1 所示的估算中，单节点 8×B200 的 HBM 预算约为 1536GB。对 1T 模子而言，传统全参微调的 weight + grad 存下界会远单机预算；而 Orbit 旅途由于冻结低精度 base，只检会 adapter，不错把 1T 模子的 RL 后检会放进单节点预算内。

图 1 不同框架下大参数模子的单节点存需求估算

训精度对王人：在好多 RL 系统里，检会侧可能使用 BF16 或 FP8 等精度 ，而理侧使用 INT4、FP4 等低精度。关于监督微调来说，这种各异无意不错被视作理化的部分；但在 RL 中，policy log-prob 自己等于检会信号的部分，检会侧和理侧之间的罪责 log-prob diff 会径直影响踏实。

Orbit 将这问题前置到了系统联想中：检会和理使用换取的低精度 base ，并在其上加载同个 BF16 adapter，从而保执训精度致。

Adapter-first 的系统联想：Orbit 围绕 adapter 对 RL 检会、理、同步、reference policy 和低精度 MoE 作念了套全体联想。base 恒久冻结，每次检会新后，只需要将 MB adapter （不需将 GB 的 base）从检会引擎送到理引擎。这不仅减少了权重同步的体积，也避了频繁忙建理引擎的支拨。

单节点 Kimi-K2.6 成果

在这组履行中，模子驱动在单台 8×B200 上，检会精度为 INT4 base + BF16 adapter，rollout 精度使用换取的 INT4 base + BF16 adapter。也等于说萍乡储罐保温施工，检会和 rollout 走的是同条低精度 base + adapter 旅途。

在约 200 step 的 RL 历程中，Orbit 不雅察到了几个同期建设的信号：

reward 飞腾；

eval accuracy 飞腾；

pass@k 飞腾；

train-rollout log-prob diff 保执踏实。

图 2 Kimi-2.6 在 Orbit 下单机 RL 后检会信号

图 3 Kimi-2.6 在 Orbit 下单机 RL 后检会的存纪录

图 2 示，Kimi-K2.6 的 rollout raw reward、eval accuracy 和 pass@k 弧线随检会进而踏实飞腾。同期，train-rollout log-prob diff 踏实保管在个区间。

关于个对 log-prob 各异绝顶敏锐的检会范式来说，这些信号本体地讲解了 Orbit 的 RL 后检会闭环不仅在单机上把 1T 的模子上踏实能跑，同期跑对了且在测试任务上有果。

单节点 DeepSeek V4 Flash 成果

在这组履行中，DeepSeek V4 Flash 雷同驱动在单台 8×B200 上。检会精度为 FP4 base + BF16 adapter，管道保温施工rollout 精度也使用换取的 FP4 base + BF16 adapter。

图 4 DeepSeek V4 Flash 在 Orbit 下单机 RL 后检会信号

图 5 DeepSeek V4 Flash 在 Orbit 下单机 RL 后检会的存纪录

从成果看，DeepSeek V4 Flash 在 100 step 以上的 RL 历程中雷同保执踏实：reward、eval、pass@k 全体飞腾，train-rollout log-prob diff 保执在踏实区间。这些趋势跟在 Kimi-K2.6 上的履行成果雷同。

单节点 1.6T DeepSeek V4 Pro 初步考据

除了 Kimi-K2.6 和 DeepSeek V4 Flash 两组踏实有的检会成果，Orbit 还在 DeepSeek V4 Pro 1.6T 上完成初步考据。

由于 DeepSeek V4 Pro base model 自己很强，履行顶用的 RL 检会数据不可让它涨点，因此该履行多是讲解 Orbit 的系统旅途不错扩张到大的 1.6T MoE 模子。

图 6 DeepSeek V4 Pro 在 Orbit 下单机 RL 后检会信号和存纪录

在 1.6T DeepSeek V4 Pro 上，Orbit 完成了单节点 8×B200 的履行，展示了踏实的 train-rollout log-prob diff 和可控踏实的 GPU 存。

这构成果讲解 Orbit 的系统上限可在单节点 8×B200 达到 1.6T 别，展示了其联想有契机遮盖大的 MoE 模子区间。

从单节点万亿模子，到单卡大模子

单节点跑通万亿模子 RL 反过来也确认了雷同的硬件预算就不错遮盖大的模子区间。

对万亿模子来说，这意味着正本可能需要多机协同的 RL 后检会，不错被压缩到单节点完成。对中小模子来说在 Orbit 的 adapter-first 框架下，单卡也有契机 RL 微调当年需要多卡能力复旧的模子，概况在换取模子领域下复旧长 response、大 batch、 rollout throughput 和时时的新。

因此，Orbit 的价值并不单在于「让大模子变得可检会」，也在于让小模子的 RL 后检会变得容易。

技艺细节

Active-expert-chunked dequantization: 关于 MoE 模子来说，每个词元只会激活部分 experts。Orbit 动态地将 router 选中的 experts 分构成固定大小的 batch，临时反量化后实行 grouped GEMM，并在狡计扫尾后开释精度权重。这么既能操纵 grouped matrix multiplication 的朦拢，又能将临时存峰值斥逐在较小 chunk 内，避大领域低精度 MoE 检会中的 OOM。

Adapter-native async with double-buffered rollout: 系统会为 adapter 调理版块号，并将新版块 adapter 流式写入 inactive slot；刻下 active slot 持续做事 in-flight 央求，待新版块准备好后再原子切换。这么不错减少 rollout bubble。在 Qwen3-4B + OFT、8×B200、TP=2 成就下，该联想带来了 1.42 倍的单步时候化和 44 的 rollout throughput，同期 eval accuracy 保执不变。

DeepSeek V4 关连化：Orbit 复旧 Full-CUDA graph decoding、DeepGEMM、DeepEP V2，并使用 tilelang / Triton / CUDA 竣事 attention backward 和 fusion kernels。凭证 adapter 检会的特色，Orbit 还联想了 bypass-base-weight-grad 的 GEMM backward 算子，避为冻结 base 狡计不消要的梯度。

结语

当年，大模子 RL 后检会时常意味着复杂的多机系统：多节点、重的权重同步和复杂的系统协同。

Orbit 提供了另条旅途：冻结低精度 base，只训 adapter，让检会、rollout 和部署对王人，并把整模同步换成 adapter 同步。这让万亿模子不错参加单节点检会区间，小模子也能在单卡或有限的硬件上跑得远。

从 Kimi-K2.6 到 DeepSeek V4 Flash，再到 DeepSeek V4 Pro 1.6T，Orbit 展示和提供了套面向大模子后检会的框架。手机：18632699551（微信同号）相关词条:铁皮保温施工     隔热条设备     锚索    离心玻璃棉    万能胶生产厂家

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述萍乡储罐保温施工，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。