思考トークンを37%削減——BottleCap AIが「ThinkingCap-Qwen3.8-27B」を公開

2026/09/26

思考トークンの「無駄遣い」に着目したファインチューン

BottleCap AIは2026年9月、Qwen3.8-27Bをベースにファインチューニングしたモデル「ThinkingCap-Qwen3.8-27B」を公開した。同社のThinkingCapシリーズ第2弾にあたり、第1弾はQwen3.6-27Bを対象にしていた。

このモデルが狙うのは、推論モデルが抱える「過剰思考」問題だ。推論モデルはしばしば、最終的な回答を変えないような余分な思考トークンを大量に消費する——BottleCap AIはそう主張し、その削減のみを目標に据えてファインチューニングを実施したと説明している。知識の追加や回答スタイルの変更、推論能力・指示追従・安全性の変化を意図的に避けた設計だと報告されている。

12ベンチマークで検証された数値

評価はすべて reasoning_effort=xhigh（チャットテンプレートのデフォルト設定）で実施されている。結果として、12ベンチマーク全てで思考トークン数が削減されており、削減率は10.7〜65.5%に及ぶとされている。

ベンチマーク別の主な結果は以下のとおりだ（BottleCap AIの発表に基づく）。

MMMLU（多言語）：思考トークンが65.5%削減（1,656→571トークン）
MMLU-Pro（知識）：57.3%削減
GPQA-Diamond（知識）：43.1%削減（12,772→7,267トークン）
IFBench（指示追従）：46.4%削減、精度はほぼ横ばい（79.75%→79.71%）
AA-LCR（長文コンテキスト）：38.6%削減に加え、精度が2.25pp向上（81.75%→84.00%）
LiveCodeBench v6（コード）：20.3%削減、精度は0.07pp向上
τ²-bench（エージェント）：30.9%削減で精度は1.01ppの低下
Terminal-Bench 2.1（エージェント）：10.7%削減で精度は0.56ppの低下（±4.26ppの誤差範囲内）
AIME 2026（数学）：30.2%削減だが精度が3.85pp低下（98.13%→94.27%）と、最もコストが大きいトレードオフになっている

12ベンチマーク全体では、マクロ平均精度が86.65%から85.79%へと0.86pp低下。平均思考トークン数は15,735から12,144へ削減されたと報告されている。なお37.2%という数値は、各ベンチマークの削減率の単純平均であるとされている。

またトークン予算を1レスポンスあたり16Kトークンに制限した場合、ThinkingCap-Qwen3.8-27Bはベースモデルを上回るスコアを記録したとも報告されている。トレースの途中切断率は0.51%から0.34%に、ループ率は0.06%から0.05%に低下したとされている。

デプロイ環境と利用条件

ThinkingCap-Qwen3.8-27BはvLLMおよびSGLangへのドロップイン置換として設計されており、FP8・NVFP4・GGUF・MLXの各フォーマットのビルドが提供されている。

リポジトリはHugging Face上でゲート付き公開となっており、利用にはHugging Face上での条件への同意が必要だ。ライセンスはPolyForm Small Business 1.0.0にBottleCap個人利用許諾を加えたものとなっており、より大規模な商用利用にはBottleCap AIとの別途契約が必要になると説明されている。

効率化モデルの現実的なトレードオフ

今回のリリースが示すのは、精度をほぼ維持したまま推論コストを大幅に削減できる可能性だ。特に知識・多言語・長文コンテキスト系タスクでは思考トークンの削減幅が大きく、長文コンテキスト（AA-LCR）では精度がむしろ向上している点は注目に値する。一方でAIME 2026のような高難度数学タスクでは約4ppの精度低下が生じており、用途に応じたトレードオフの判断が求められる。

出典: BottleCap AI Releases ThinkingCap-Qwen3.8-27B: 37.2% Fewer Thinking Tokens at a 0.86pp Accuracy Cost