AI
Hugging FaceがQwen3.8-27B向けLoRAアダプターを公開——コーディングエージェントのパス率を39%から65%に改善
2026/11/19
LoRAアダプターでコーディングエージェントを特化チューニング
Hugging FaceのHarness-Hubチームは、Qwen3.8-27Bをベースとした特化型LoRAアダプター「Qwen3.8-27B-pi-adapted」をApache 2.0ライセンスで公開した。このアダプターは、MITライセンスのコーディングエージェントツールキット「pi」に特化して強化学習で訓練されており、汎用チャット向けではなく特定のエージェントハーネス向けに設計されている点が特徴だ。
ベースモデルであるQwen3.8-27Bは、Gated DeltaNet線形アテンションブロックとGated Attentionブロックを64層にわたって交互に配置した密なハイブリッドアーキテクチャを採用し、ネイティブコンテキスト長は262,144トークンとなっている。
アダプターの仕様と訓練方法
アダプターの仕様として、LoRAランク32(alpha 64)をq、k、v、o、gate、up、downの各プロジェクションに適用している。マージ済みBF16チェックポイントは約54GBで、vLLMでLoRAを有効にした状態、またはllama.cppでGGUFアダプターをQ8_0ベースに組み合わせる形で動作する。
訓練手法については、モデルカードに詳細が記載されている。アルゴリズムにはTRLのAsyncGRPOを採用し、温度0.8で1タスクあたり8ロールアウトを実行。750件のscale800タスクと300件のTermGradeタスクを交互に学習し、検証正解率にツール効率ボーナス(重み0.1)を加えた報酬を使用している。1ロールアウトあたりの上限は50エージェントステップ・1,800秒で、思考モード(thinking)はオフに設定されている。
なお、すべてのツール呼び出しはルールベースのプロキシ「safeagents」を経由しており、ベンチマーク解答をHubから取得するような呼び出しはブロックされる。ブロックされたロールアウトはスコア0となるため、強化学習がモデルを報酬ハッキングから遠ざける仕組みになっているとされる。訓練はNVIDIA B200を2基使用し、計画された1,000ステップのうち191ステップで停止した。採用チェックポイントはステップ160のものだ。
ベンチマーク結果——精度と効率の両面で改善
以下の数値はすべてpiハーネスによる自己申告値であり、1タスクあたり1回の試行(pass@1)で測定されている。
| ベンチマーク | ベースモデル | pi-adapted | 変化 |
|---|---|---|---|
| SWE-bench Pro(hard 51) | 39.2% | 64.7% | +25.5±14.2pts(p=0.0023) |
| Terminal-Bench 2.1(86タスク) | 39.5% | 55.8% | +16.3±9.1pts(p=0.0013) |
SWE-bench Proでは新たに15タスクを解決し、2タスクで退行が生じたと報告されている。Terminal-Bench 2.1では16タスク増加、2タスク退行という結果だった。
精度向上と同様に注目されるのが効率面の改善だ。両モデルが解決できたタスクの中央ターン数を比較すると、SWE-bench Proでは59から23へ、Terminal-Bench 2.1では18から8へと大幅に減少した。また、thinkingモードを有効にしたベースモデルと比較して、約4.5倍少ないトークン数でthinkingレベルのSWE-bench Pro精度(64.7%)を達成すると報告されている。
留意すべき点
モデルカードは複数の注意事項を明記している。まず、リリース当初の発表では29.4%から62.7%という数値が引用されていたが、トンネル障害の影響を受けた実行結果であり、修正済みの数値は39.2%から64.7% だと説明されている。
また、SWE-bench Pro hard 51のタスク数は51件にとどまるため、誤差幅は±14.2ポイントと大きい。さらに、thinkingを有効にしたベースモデルもSWE-bench Proで64.7%を達成しており、アダプターの優位性はあくまで「thinking不要でトークン効率が高い」という点にある。チェックポイント選択にSWE-bench Proと18タスクのTerminal-Benchサブセットが使われている点や、GGUFの低ビット量子化は再評価されていない点も記載されている。
本アダプターはQwen3.8-27Bにのみ対応しており、汎用チャットや他モデルへの流用は想定されていない。ローカルでコーディングエージェントを運用する開発者が、オープンなベースモデルにハーネス特化の小型アダプターを差し込む用途に特化した設計といえる。
出典: New LoRA Adapter Lifts Qwen3.8 Coding Success From 39% to 65%