AI
NVIDIA、ローカル音声エージェント向け小型LM「Nemotron 3.5 Bolt E4B 4GB」を公開
2026/10/25
NVIDIAが小型LM「Nemotron 3.5 Bolt E4B 4GB」を公開
NVIDIAは、オープンな小型言語モデル（SLM）Nemotron 3.5 Bolt E4B 4GB をリリースした。音声アシスタント、ゲームのNPC（ノンプレイヤーキャラクター）、ロボットインターフェースなど、ローカル環境での高速な会話エージェントを想定したモデルだ。GeForce RTX・Jetson・RTX Spark・DGX Sparkでの動作を公式にサポートしており、NVIDIAの計測ではQ4_K_Mビルド時のVRAM使用量は3.1〜4.3GBに収まるとされている。
モデルの概要
Nemotron 3.5 Bolt E4B は、総パラメータ数8B・実効パラメータ数4B、コンテキスト長64Kのモデルだ。GoogleのGemma 4 E4Bをベースモデルとして、強化学習のみでポスト学習されている点が大きな特徴となっている。
主な機能として、マルチターンでのツール呼び出し（非同期呼び出しのガイダンスを含む）、音声向けに短い返答を生成する conversational_mode フラグ、推論の有効・無効を切り替えられる設定と遅延上限を制御するランタイム思考バジェット、そして64Kコンテキストによる会話履歴・ツール定義・アプリケーション状態の保持が挙げられる。
NVIDIAはBoltをNVIDIA ACEゲームキャラクター向けの第3世代小型モデルと位置づけており、テクニカルレポートではReavhy Miniロボット上でJetson Orin Nano 8GBを使った動作デモも紹介されている。このデモではビジョン処理をCosmos 3 Edgeが、音声返答とツール呼び出しをBoltが担当するという構成だ。
SFTを使わないRL専用の学習パイプライン
学習方針でも注目すべき点がある。NVIDIAは教師あり微調整（SFT）を一切使用しなかったと報告している。テクニカルレポートによれば、SFTではツール呼び出し精度は上がるものの、Gemmaが持つ会話品質と簡潔さが損なわれることが確認されたためだという。
代わりにRLVR（検証可能な報酬による強化学習）とRLHF（人間のフィードバックによる強化学習）をNeMo-RLおよびNeMo-Gymを通じて適用している。学習では各サンプルを推論モードと非推論モードの両方で処理し、バッチ内で非推論:推論 = 2:1の比率を維持した。GenRM環境での長さペナルティにより、学習中の回答の肥大化を抑制したとされている。データセットと学習レシピはすべて公開されている。
デプロイ向けには、BF16チェックポイントをImportance Matrix（imatrix）キャリブレーション付きでQ4_K_M量子化している。キャリブレーションには約100万トークン分のRLロールアウトが使われた。また、Speculative Decoding用のDFlashドラフターも同時公開されており、RTX 5070上ではBolt+DFlashで272.6 tokens/sを記録。MTPドラフターを使用したGemma 4 E4Bの225.9 tokens/sと比較して約1.21倍高速と報告されている。
ベンチマーク性能
NVIDIAはBoltをNeMo-Gymハーネスで21のベンチマークを用いて評価し、Gemma 4 E4B・Qwen3.5-4B・Nemotron 3 Nano 4Bと比較した（いずれもNVIDIA自身による計測）。BF16・推論モードにおいて、Boltは21中15のベンチマークでトップスコアを記録したとされている。
注目すべき個別スコアとしては、IHEvalで84.8を達成しており、Gemma 4 E4Bの67.0、Qwen3.5-4Bの60.6を大きく上回る。一方、Tau2-Benchでは55.1にとどまり、Qwen3.5-4Bの75.1に対して約20ポイントの差があるとも報告されており、得手不得手があることには留意が必要だ。
また、Nemotron 3 Nano 4Bとの比較では平均スコアが約40%向上し、推論が有効な比較においては出力トークン数が最大80%削減されると主張している。さらに、Scale LabsがMultiChallengeで小型モデルの中でBoltを1位（56.03%）としたとNVIDIAのX（旧Twitter）投稿で言及されている。
開発者向け情報
モデルはHugging Faceにて公開されており、BF16版（nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16）とDFlashドラフター版が利用可能だ。約4GBというVRAM要件により、同一デバイス上に音声モデルやビジョンモデルを同居させる余地が生まれる点が、エッジ向けエージェント開発者にとっての実用的なメリットといえるだろう。