TIP
← 記事

AI

32GBのMacで動く26Bパラメータモデル「Inkling 2 Mini」——Thinking MachinesがループMoEアーキテクチャを公開

2026/11/22

中間層を3回再利用する「ループトランスフォーマー」

Thinking Machines Labは2026年11月20日、オープンウェイトモデルInkling 2 MiniをHugging FaceにてApache 2.0ライセンスで公開したと報告している。総パラメータ数は26.4Bだが、チェックポイントのサイズは約20GBに抑えられており、32GB以上のメモリを搭載したAppleシリコンMacや1台のNVIDIA DGX Spark、VRAM 32GB以上のGPUで動作するとされる。GGUF形式のビルドはUnslothおよびllama.cppを通じて利用可能で、ホスト型の推論・ファインチューニング環境「Tinker」も提供されている。

アーキテクチャの核心はループドトランスフォーマーと呼ばれる構造にある。モデルは24層を4ブロック(各6層)に分割し、最初と最後のブロックは各1回だけ実行されるのに対し、中間の2ブロックは共有ウェイトを使いながら1トークンあたり3回繰り返し実行される。結果として、24層のウェイトから48回分のレイヤー適用が得られる仕組みだ。各ループのパスには「Attention Residuals」と学習済みゲートを用いたメッセージが前のパスから引き継がれる。

Feed-forwardレイヤーには128のエキスパートが存在し、1トークンあたり8つがルーティングされるスパースMoE構造を採用している。アクティブパラメータ数はトークンあたり3.4Bだが、ループ効果を加味した実効値は5.4Bと報告されている。コンテキスト長は最大100万トークンで、テキストと画像を入力としてテキストを出力する。

なぜ中間層をループさせるのか

Thinking Machinesの報告によれば、中間層のループにより1.51倍〜1.91倍の計算相当の性能向上が得られたという。一方で末尾層をループさせた場合は1.24倍〜1.36倍にとどまり、28件の評価のうち27件で中間ループ方式が勝利したとされる。

ループ構造はトレーニング計算量を増やすが、推論コストを節約できる点が特徴だ。ループなしのベースラインはトレーニング計算量が7.5%少ない一方、ループモデルと同等の損失(512kトークンのエージェントトレース上)を達成するには推論計算量が140%多く必要だったと報告されている。つまり、推論時の効率という観点でループ構造に優位性があるとの主張だ。

トレーニングの手順

トレーニングは1レイヤーあたり384エキスパートから開始され、トレーニング中盤に使用頻度の低いエキスパートが削除されて128に絞られたとされる。その後、より大規模な内部Inklingモデルからの1兆トークン蒸留ランで枝刈りモデルを「修復」し、SFT・RLを2.2兆トークン・2,000ステップにわたり実施、オンポリシー蒸留も組み合わせたという。

エキスパート層はNVFP4で学習・デプロイされ、最後の4層はMXFP8を使用。これにより量子化変換ロスを排除できると同社は述べている。研究用バリアントとして1〜5パスの可変ループを学習するTML-d24-varloop-researchもHugging Faceで公開されている。

ベンチマーク:コーディングに強み、知識想起に課題

以下のスコアはいずれもThinking Machinesによる自己申告値であり、ハーネスや設定が他社と異なる場合がある点に留意が必要だ。

コーディング性能が最も高く評価されており、SWE-bench Verified(bashのみ)で79.2%、SWE-bench Pro v2(Hard)で77.9%を記録したとされる。DeepSWE v1.1では48.2%で、QwenのモデルカードではQwen3.8-27Bが42.2%と記載されており、Inkling 2 Miniが上回っている。ただしTerminal Bench v2.1ではQwen3.8-27Bの73.0%に対し71.6%と僅差で下回った。

エージェント検索の分野ではBrowseComp(コンパクション使用)で79.0%、MCP Atlasで82.7%を記録。ドキュメント・ビジョン系ではOmniDocBench v1.6で92.8%、MMMU Proで74.9%。推論ではGPQA Diamondで86.6%、ARC-AGI-2で49.3%だった。

一方、**HLE-Diamondでは15.2%、MultiChallengeでは50.0%**と低い結果も示しており、知識の想起やマルチターンの指示追従は弱点として挙げられている。Artificial Analysis Indexでの総合スコアは20.1で、Qwen3.8-27Bと並んでいると報告されている。

電力効率でも優位性を主張

StanfordのIntelligence per Wattメトリクスにおいて、Thinking MachinesはDGX Spark上でInkling 2 Miniが0.703を記録したと報告している。同社の報告によれば、Qwen3.6-35B-A3Bは0.430、Gemma-4-26B-A4Bは0.159とされており、ローカルで動作するモデルとしては高い電力効率を主張している。

位置づけと入手方法

Inkling 2 Miniは、同社が11月5日に公開した594BパラメータのInkling 2 Smallに続くリリースとなる。20GBという小さなチェックポイントサイズとApache 2.0ライセンスにより、ローカル環境でのエージェント型コーディングやドキュメント処理への組み込みを想定したモデルとして位置づけられている。モデルはHugging Faceから入手でき、ホスト型の推論・ファインチューニングはTinkerプラットフォームから利用できる。


出典: Meet Thinking Machines Inkling 2 Mini: 26B Looped MoE Runs on a 32GB Mac