TIP
← Research

Research

拡散型言語モデルのCTMCを高速化する投機的サンプラー「SpecCTMC」——分布を厳密保存しながら最大4.38倍の逐次評価削減を実現

2026/11/08

拡散型言語モデルの推論ボトルネックとは

マスク拡散言語モデル(Masked Diffusion Language Models、以下MDLM)は、部分的にマスクされたトークン列を反復的にアンマスクすることでテキストを生成する。左から右への固定順序に縛られない生成が可能な一方、並列推論を実現しようとすると品質低下を招きやすいというトレードオフがある。

厳密な連続時間定式化では、逆過程は連続時間マルコフ連鎖(Continuous-Time Markov Chain、CTMC)として記述され、イベントごとに1トークンがアンマスクされる。各更新が直前のアンマスク済みトークンに依存するため、逐次モデル評価が必須となり、これが実用上の最大ボトルネックとなっていた。

複数トークンを同一状態から並列にアンマスクする手法も存在するが、トークン同士が互いに条件付けられないため、逐次更新した場合と異なる分布が生じる「因数分解誤差」が発生する。この問題は先行研究で「並列デコードの呪い」とも呼ばれてきた。

SpecCTMCの概要

オーストラリア国立大学のYasong Dai氏、Siva Rajesh Kasa氏(Amazon所属だが本研究は職務外)、Sumit Negi氏、Hongdong Li氏らは、これらの問題を同時に解決する投機的サンプラー SpecCTMC(Speculative CTMC)を提案した。論文はarXivにて公開されており、コードもGitHubで利用可能とされている。

SpecCTMCの設計上の核心は次の3点にまとめられる。

  1. 追加の下書きモデル不要:自己回帰モデル向けの投機的サンプリングでは別途ドラフトモデルを用意するが、SpecCTMCは直前の推論で得られたモデル予測を再利用して次のトークン更新を「提案」する。
  2. 中間状態の並列評価:提案された複数の中間状態をまとめてターゲットモデルに並列入力し、一度の呼び出しで複数イベントを検証する。
  3. 厳密な受理・訂正手続き:提案が棄却された場合も、イベント時刻はマスク数のみに依存し、アンマスク済みトークンの同一性とは独立であるという性質を利用して、イベントクロック(確率的な時刻列)をそのまま保持しながら訂正を行う。

著者らは、SpecCTMCが「イベント時刻・生成順序・トークン値の同時分布」を厳密に保存することを数学的に証明したと報告している。これにより時刻離散化誤差も並列デコードによる因数分解誤差も生じないとされる。

理論的背景:吸収マスクCTMCの性質を活かした設計

論文によれば、吸収マスクモデルにおける総退出強度は

λ_t(x) = m(x) / t

と表せる。ここで m(x) は現在のマスク数、t は拡散モデル時刻を指す。この式が示すように、退出強度はマスク数と時刻のみで決まり、どのトークンがアンマスクされたかには依存しない。この性質があるからこそ、提案が棄却された際にも将来のイベントクロックを無効化することなく訂正処理が可能になる、と著者らは説明している。

また、各イベントでのマーク分布(位置とトークンの同時分布)は

P_{t,x}(d, v) = (1 / m(x)) * p_θ(v | x, d)

であり、位置はマスク済み位置上の一様分布、トークンはその位置でのモデル確率に従う。SpecCTMCはこの構造を利用して投機的提案と受理・訂正を設計している。

実験結果

著者らはLLaDA-8B-InstructおよびDream-v0-Instruct-7Bを用い、5つのベンチマーク(推論・コード生成・命令追従を含む)で評価を行ったと述べている。結果として、直接CTMC(DirectCTMC)と比較して 1.73〜4.38倍の逐次モデル評価回数削減が達成されたと報告されている。NVIDIA B200上での実測ウォールクロック速度向上は最大 2.88倍に達したとされる。

特に注目すべきは、GSM8Kにおける複数回試行の評価だ。決定論的なグリーディデコードでは解けない問題も、確率的生成を複数回実行することで解ける場合があるが、その場合の累積逐次評価コストをSpecCTMCがDirectCTMCよりも削減できたと著者らは説明している。

論文中の比較表(Table 1)によれば、既存の高速化手法のうちSpecCTMCだけが「学習不要・厳密なイベント時刻・CTMCの自然な分布保存・別途ドラフター不要・軌跡内並列性・因数分解誤差なし」の全条件を同時に満たすとされている。

既存手法との位置づけ

論文は多数の関連手法と比較している。

  • タウリープ法・台形ソルバー:有限時間区間での近似を用いるため、精度とコストのトレードオフが生じる。
  • Fast-dLLM / Fast-dLLM++:信頼度スコアに基づく並列コミットで高速化するが、因数分解誤差を伴う。
  • Spiffy / Parallel Speculative Decoding / Trajectory-Level Speculative Decoding:投機的アプローチだが、いずれかの要件(厳密なイベント時刻、CTMC分布の保存など)を満たさない。
  • Self-Speculative Masked Diffusions:ハイブリッドアーキテクチャの追加学習が必要。

SpecCTMCは、連続拡散モデルへの投機的サンプリング拡張(Bortoli et al., 2025)や、自己回帰モデル向けの分布保存型投機的サンプリング(Leviathan et al., 2023; Chen et al., 2023)の手法を、離散・吸収マスクCTMCの文脈に適応させた設計であると著者らは述べている。

まとめ

SpecCTMCは、マスク拡散言語モデルの推論における「逐次評価ボトルネック」と「並列デコードの因数分解誤差」という二大課題を、追加学習なし・別途ドラフトモデルなしで同時に解決しようとする手法だ。著者らは分布保存の数学的証明と実験的な速度向上の双方を示しており、拡散型LLMの実用化に向けた有力なアプローチとして注目される。コードは https://github.com/kasakh/specctmc で公開されている。


出典: SpecCTMC: Exact Speculative Simulation of Diffusion Language Model Continuous-Time Markov Chains