从数学、代码、复杂推理，到多轮器具调用，大模子的好多才能的进步都离不开 RL 后查考。但当模子限制参预 MoE 万亿参数级别之后，RL 不再仅仅一个算法问题，同期愈加是一个系统问题。

查考侧需要容纳庞杂的模子权重、梯度和优化器景色；rollout 侧需要抓续生成样本，并保抓鼓胀高的微辞；reference policy 又会进一步放大显存和调养压力。同期，好多 RL 系统在查考时使用较高精度模子，而果然 rollout 或部署时使用低精度 serving 模子。这些精度各异，最终会体当今部署着力与 RL 着力的不一致上。

通过将 base model 固定在部署时使用的低精度暗示，并只更新 adapter，Orbit 将 Kimi-K2.6、DeepSeek V4 级别的 1T 模子 RL 后查考压缩到单台 8×B200 上完成。同期，查考和 rollout 使用并吞条低精度 base + adapter 旅途，从系统层面摒除了查考模子与 rollout / 部署模子之间的精度不一致。

Orbit 作念到「让万亿模子参预单节点 RL 区间」这件事的真谛在于：

幸免了「查考精度」和「部署精度」不一致带来的偏差，从而带来更沉稳更高效的 RL 后查考；

单节点 RL 不错权贵缩小多节点查考时的通讯时延与故障率；

在相同的 HBM 预算下，模子会赢得更宽的查考空间，夙昔需要多卡才能训的模子，有契机被压缩到单卡。

官方博客：https://spherelab.ai/orbit/

Github：https://github.com/Sphere-AI-Lab/orbit

Orbit：因循万亿参数模子 RL 微调的高效框架

显存限制：如下图 1 所示的估算中，单节点 8×B200 的 HBM 预算约为 1536GB。对 1T 级模子而言，传统全参微调的 weight + grad 显存下界会远超单机预算；而 Orbit 旅途由于冻结低精度 base，只查考 adapter，不错把 1T 级模子的 RL 后查考放进单节点预算内。

图 1 不同框架下大参数模子的单节点显存需求估算

训推精度对都：在好多 RL 系统里，查考侧可能使用 BF16 或 FP8 等高精度 ，而推理侧使用 INT4、FP4 等低精度。关于监督微调来说，这种各异或然不错被视作推理优化的一部分；但在 RL 中，policy log-prob 自身即是查考信号的一部分，查考侧和推理侧之间的纰谬 log-prob diff 会径直影响沉稳性。

Orbit 将这一问题前置到了系统设想中：查考和推理使用相通的低精度 base ，188金宝博官网app下载并在其上加载并吞个 BF16 adapter，从而保抓训推精度一致。

Adapter-first 的系统设想：Orbit 围绕 adapter 对 RL 查考、推理、同步、reference policy 和低精度 MoE 作念了一套合座设想。base 恒久冻结，每次查考更新后，只需要将 MB 级 adapter （不需将 GB 级的 base）从查考引擎推送到推理引擎。这不仅减少了权重同步的体积，也幸免了频拆开建推理引擎的支拨。

单节点 Kimi-K2.6 驱散

在这组实验中，模子运转在单台 8×B200 上，查考精度为 INT4 base + BF16 adapter，rollout 精度使用相通的 INT4 base + BF16 adapter。也即是说，查考和 rollout 走的是并吞条低精度 base + adapter 旅途。

在约 200 step 的 RL 历程中，Orbit 不雅察到了几个同期建设的信号：

reward 高涨；

eval accuracy 高涨；

pass@k 高涨；

train-rollout log-prob diff 保抓沉稳。

图 2 Kimi-2.6 在 Orbit 下单机 RL 后查考信号

图 3 Kimi-2.6 在 Orbit 下单机 RL 后查考的显存记载

图 2 披露，Kimi-K2.6 的 rollout raw reward、eval accuracy 和 pass@k 弧线随查考鞭策而沉稳高涨。同期，train-rollout log-prob diff 沉稳督察在一个区间。

关于一个对 log-prob 各异尽头敏锐的查考范式来说，2026世界杯赛事竞猜官方版这些信号履行量诠释了 Orbit 的 RL 后查考闭环不仅在单机上把 1T 的模子上沉稳能跑，同期跑对了且在测试任务上灵验率。

单节点 DeepSeek V4 Flash 驱散

在这组实验中，DeepSeek V4 Flash 相同运转在单台 8×B200 上。查考精度为 FP4 base + BF16 adapter，rollout 精度也使用相通的 FP4 base + BF16 adapter。

图 4 DeepSeek V4 Flash 在 Orbit 下单机 RL 后查考信号

图 5 DeepSeek V4 Flash 在 Orbit 下单机 RL 后查考的显存记载

从驱散看，DeepSeek V4 Flash 在 100 step 以上的 RL 历程中相同保抓沉稳：reward、eval、pass@k 合座高涨，train-rollout log-prob diff 保抓在沉稳区间。这些趋势跟在 Kimi-K2.6 上的实验驱散肖似。

单节点 1.6T DeepSeek V4 Pro 初步考证

除了 Kimi-K2.6 和 DeepSeek V4 Flash 两组沉稳灵验的查考驱散，Orbit 还在 DeepSeek V4 Pro 1.6T 上完成初步考证。

由于 DeepSeek V4 Pro base model 自身很强，实验顶用的 RL 查考数据不成让它涨点，因此该实验更多是诠释 Orbit 的系统旅途不错延长到更大的 1.6T 级 MoE 模子。

图 6 DeepSeek V4 Pro 在 Orbit 下单机 RL 后查考信号和显存记载

在 1.6T DeepSeek V4 Pro 上，Orbit 完成了单节点 8×B200 的实验，展示了沉稳的 train-rollout log-prob diff 和可控沉稳的 GPU 显存。

这组驱散诠释 Orbit 的系统上限可在单节点 8×B200 达到 1.6T 级别，展示了其设想有契机笼罩更大的 MoE 模子区间。

从单节点万亿模子，到单卡更大模子

单节点跑通万亿模子 RL 反过来也证明了相同的硬件预算就不错笼罩更大的模子区间。

对万亿模子来说，这意味着蓝本可能需要多机协同的 RL 后查考，不错被压缩到单节点完成。对中小模子来说在 Orbit 的 adapter-first 框架下，单卡也有契机 RL 微调夙昔需要多卡才能因循的模子，简略在相通模子限制下因循更长 response、更大 batch、更高 rollout throughput 和更常常的更新。

因此，Orbit 的价值并不单在于「让大模子变得可查考」，也在于让小模子的 RL 后查考变得更容易。

技艺细节

Active-expert-chunked dequantization: 关于 MoE 模子来说，每个词元只会激活部分 experts。Orbit 动态地将 router 选中的 experts 分构成固定大小的 batch，临时反量化后践诺 grouped GEMM，并在筹算驱散后开释高精度权重。这么既能愚弄 grouped matrix multiplication 的微辞，又能将临时显存峰值为止在较小 chunk 内，幸免大限制低精度 MoE 查考中的 OOM。

Adapter-native async with double-buffered rollout: 系统会为 adapter 防备版块号，并将新版块 adapter 流式写入 inactive slot；现时 active slot 继续工作 in-flight 肯求，待新版块准备好后再原子切换。这么不错减少 rollout bubble。在 Qwen3-4B + OFT、8×B200、TP=2 建立下，该设想带来了 1.42 倍的单步时候优化和 44% 更高的 rollout throughput，同期 eval accuracy 保抓不变。

DeepSeek V4 关联优化：Orbit 因循 Full-CUDA graph decoding、DeepGEMM、DeepEP V2，并使用 tilelang / Triton / CUDA 兑现高效 attention backward 和 fusion kernels。把柄 adapter 查考的特色，Orbit 还设想了 bypass-base-weight-grad 的高效 GEMM backward 算子，幸免为冻结 base 筹算无用要的梯度。

结语

夙昔，大模子 RL 后查考通常意味着更复杂的多机系统：更多节点、更重的权重同步和更复杂的系统协同。

Orbit 提供了另一条旅途：冻结低精度 base，只训 adapter，让查考、rollout 和部署对都，并把整模同步换成 adapter 同步。这让万亿模子不错参预单节点查考区间，更小模子也能在单卡或更有限的硬件上跑得更远。

从 Kimi-K2.6 到 DeepSeek V4 Flash，再到 DeepSeek V4 Pro 1.6T2026世界杯赛事竞猜中国官网，Orbit 展示和提供了一套面向大模子后查考的高效框架。