オープンウェイトモデルという選択 — 安全機構の除去、過剰拒否、データ主権、そしてローカル運用そのもののリスク

1. 安全機構は、公開された瞬間から「運営元の手を離れる」

ClaudeやGPTのような閉じたモデルは、安全機構をAPIの向こう側で常に運営元が制御できる。対してオープンウェイトモデルは、重みが公開された瞬間、安全機構の維持を運営元が保証できなくなる。「abliteration（アブリテーション）」と呼ばれる手法——有害な質問と教育的な質問の内部表現の差分から「拒否の方向」を計算し、それをモデルの重みから直交的に除去する——を使えば、第三者が事後的に拒否機構を弱めることができる。

この手法は、モデルの世代によって効きやすさが違う。West Point大学のCombating Terrorism Centerの研究によれば、Moonshot AIの「Kimi K2」（1兆パラメータ級）に対してこの手法を適用したところ、サイバー攻撃関連の拒否率が100%から7%まで低下したという。後継の「Kimi K2.5」は、MoE（Mixture-of-Experts、896個の専門家からなる構成）アーキテクチャの特性上、「拒否」の判断がどの専門家が発火するかという離散的な選択に埋め込まれており、従来の線形的なアブリテーション手法が効きにくくなっていたと報告されている。

では最新の「Kimi K3」（2026年7月16日公開、フルオープンウェイトは同月27日、2.8兆パラメータで現時点最大級のオープンウェイトモデル）はどうか。Artificial Analysis Intelligence Indexでは57点（Claude Fable 5は60点）と肉薄し、コーディング系ベンチマーク14項目中6項目でFable 5を上回るなど、性能面では確かに商用トップモデルに迫っている。Moonshot自身は、独自のアブリテーション的手法を使い「認可されたレッドチーム向けのグレーゾーンの質問には応答しつつ、明確に有害な質問は拒否し続ける」という選択的な調整を試みたとされる。しかし実際には、K2.5とは違い、コミュニティによる「abliteration版」がHugging Face上に複数公開されている状態にあり、少なくとも現時点では、外しやすさという点でK2寄りの状態に戻っているように見える。

重要なのは、これは中国製モデルに限った話ではないという点だ。同じ手法はLlama（Meta）やMistralのような西側のオープンウェイトモデルにも通用する。フロンティアAIの安全性フレームワーク（Anthropic RSP、OpenAI Preparedness Framework等）自体も、オープンウェイト公開を「最もリスクの高いリリース判断」として明確に位置づけている。国籍の問題ではなく、公開形態そのものが抱える構造的な問題だ。

2. 逆に、商用モデルの「拒否」が防御側の足かせになっている

一方で、オープンモデルが選ばれるのには、もっと実務的な理由もある。ClaudeやGPTのような商用モデルの安全訓練が、正当な防御目的の作業まで過剰に拒否してしまう、という問題だ。

論文「Not All Refusals Are Equal: How Safety Alignment Fails Cybersecurity at Scale」（arXiv:2607.02714）は、既知のCVE分析、防御的なパッチ戦略の相談、認可された侵入テストの手法、インシデント対応・フォレンジック調査といった、明確に防御的なセキュリティ業務に対しても、フロンティアモデルが過剰に拒否する傾向があると報告している。論文は「防御と攻撃を区別する、文脈を汲んだ拒否ポリシーが必要」だと主張している。

なお、「Kimi K3はCodexやClaudeが拒否したセキュリティ問題を全部直した」というSNS発の具体的な話も一部で流通しているが、これは引用元のメディア自身が「再現性なし、独自検証なしでこの件数を引用するな」と明記している、裏付けの弱い一次情報である。「過剰拒否が実在する問題である」ことと、「特定のバイラルな体験談が正確である」ことは、分けて扱う必要がある。

3. データ主権という、まったく別の動機

安全機構の話とは独立に、外部のクラウドAPIにデータを一切出したくない、という理由でオープンウェイトモデルへの依存を選ぶ動きもある。

フランス国防省とMistral AIは2025年12月、3年間の枠組み協定を締結した。国防省のAI推進機関AMIADが主導し、フランス軍・防衛関連機関がMistralのモデル・ソフトウェア・サービスを利用できるようにするものだが、焦点は主権にある。Mistralの技術は、外国や商用クラウド基盤ではなく、フランス自国が管理するインフラ上に完全に展開されるという。CEA（原子力・代替エネルギー庁）やONERA（航空宇宙研究機関）、海軍水路測量部門まで対象に含まれており、機密データを外国の法域・クラウド事業者に一切触れさせない、という技術主権の確保が明確な狙いになっている。

ただし、この種の「本気の自前運用」には相応の対価が伴う。Kimi K3クラスのモデルをフルスペックで動かすには、2.8兆パラメータの重みだけで約1.56TBのチェックポイントが必要で、実用的な最低構成でもH100 80GB級GPUを8基搭載したクラスタ（合計640GB VRAM）、Moonshot自身が推奨する本番構成では64基以上のアクセラレータが必要になる。個人や中小企業が気軽に持てる規模ではなく、実際にフルスペックのオープンウェイトモデルに本気で依存できるのは、結局のところ国家や大企業といった、相応の計算資源を持つ組織に限られる。「オープンだから誰でも使える」という建前と、「フル活用できるのは資力のある組織だけ」という実態には、無視できない距離がある。

4. ローカルLLM運用そのものは、安全と言えるのか

ここまでは「モデルそのもの」の話だったが、ローカルで動かす運用そのものにも、情報漏洩や著作権をめぐる見落とされがちなリスクがある。

著作権：閉じたモデルにはある「保険」が、開いたモデルにはない

Anthropicは2025年、著者らが起こした集団訴訟（Bartz v. Anthropic）で、書籍を学習に使うこと自体は「fair use（公正利用）」と認められたものの、海賊版として不正に入手した書籍を保管していたこと自体は別の違法行為だと判断され、15億ドルの和解に至っている。この事例が示すように、学習データの出所をめぐる法的リスクは、AI業界全体にとって今も現在進行形の係争分野だ。

ここで見落とされがちなのが、閉じた商用モデルの多くは、出力が著作権侵害を引き起こした場合の補償（インデムニフィケーション）を企業向けに提供している一方、オープンウェイトモデルの多くにはこうした保護が存在しない、という非対称性だ。オープンウェイトモデルは学習データの出所が不透明なことが多く、それが権利者に無断で使われたものだった場合、そのリスクを実質的に引き受けるのは、モデルを作った側ではなく、それを導入して使う側になる。

情報漏洩：ツール自体は「電話をかけてこない」が、設定ミスは別

Ollamaやllama.cppといった主要なローカル推論ツール自体は、通常の推論動作において外部にテレメトリを送信したり、プロンプトを外部サーバーへ転送したりはしない。モデルファイルのダウンロード時を除けば、通信は基本的に発生しない設計になっている。

ただし、これは「安全に設定されていれば」の話だ。セキュリティ企業LeakIXが2026年2月に報告した調査では、認証なしでインターネットに公開されたOllamaインスタンスが12,269件見つかっている。別のCisco社によるShodan調査（2025年9月）でも、1,100台以上の公開Ollamaサーバーのうち約2割が、アクセス制御なしにモデルを提供していたという。さらに深刻なのが、2026年に発見されたCVE-2026-7482（通称「Bleeding Llama」、CVSS 9.1）だ。細工したGGUFファイルを読み込ませるだけで、認証なしの攻撃者がサーバーのプロセスメモリ全体（APIキー、環境変数、会話履歴を含む）を読み取れるという脆弱性で、影響を受けうるインターネット公開サーバーは約30万台と報告されている（2026年2月24日リリースのv0.17.1で修正済み）。ツール自体が漏洩を引き起こすのではなく、「公開設定にしてしまう」という運用側のミスと、ソフトウェア自体の脆弱性が組み合わさることで、初めて実際の漏洩につながる。

PCへの悪意ある操作という点では、本誌の別記事「モデルのサプライチェーン汚染」で扱った、pickle形式のモデルファイルに仕込まれるコード実行リスクも、当然ここに含まれる。

量子化版特有のリスク：本家は無害でも、量子化後にだけ悪意が発現する

最後に、「本家ではなく、Hugging Face上の量子化版に悪意あるものが紛れている可能性」について。これは実際に、査読付きの学術研究で実証されている。

ICML 2025で発表された論文「Mind the Gap: A Practical Attack on GGUF Quantization」（Egashira, Staab, Vero, He, Vechev、ETH ZurichのSRI Lab）は、GGUF形式に対する初の実証攻撃として、量子化誤差（フル精度の重みと量子化後の重みの差）を利用し、フル精度では良性に見えるが、量子化した瞬間にだけ悪意ある挙動を発現するモデルを構築できることを示した。9種類のGGUF量子化データ型を対象に検証し、脆弱なコードを生成させる攻撃で88.7%、狙った内容を紛れ込ませる攻撃で85.0%の成功率を報告している。つまり、オリジナルの安全性チェックをすべて通過した「本家」のモデルであっても、誰かがそれを量子化してGGUF化する過程で、悪意を仕込むことが技術的に可能だということだ。ollamaやllama.cppのような主要フレームワークで広く使われている量子化スキームの複雑さそのものが、この種の攻撃を防ぐ壁にはならない、と論文は結論づけている。

「安全な形式」は存在するのか

ではpickle形式を避け、safetensors形式（AWQ・GPTQ系の量子化で一般的に使われる、コード実行を伴わない安全なシリアライズ形式）を選べば安心かというと、そこまで単純ではない。2026年の研究「Trusted Weights, Treacherous Optimizations」（arXiv:2605.20641）は、こうした「最適化の過程で仕込まれた挙動が発現する」タイプの攻撃が、GGUFに限らずGPTQ・AWQといった他の量子化手法、さらにはpruning（枝刈り）・LoRA・蒸留といった、量子化以外のモデル最適化手法全般にも及びうることを示している。safetensors形式は「読み込み時に任意のコードが実行される」というpickle特有のリスクは回避できるが、「最適化の過程そのものに悪意を仕込まれる」という、より広いクラスの攻撃までは防げない。特定のファイル形式を選べば安全、という単純な話ではないということだ。

エージェント権限と組み合わさったときの危険性

ここが、この種の攻撃を評価する上で見落としてはならない点だ。「脆弱なコードを生成する」「内容を紛れ込ませる」といった、Mind the Gapが示した攻撃は、それ単体では受動的な被害（悪いコードが出力される、誤った情報が混じる）に見えるかもしれない。しかし、そのモデルにMCP経由でツール呼び出しの権限やPC操作の権限を与えた場合、話はまったく変わってくる。

2026年4月に公開された研究「Your LLM Agent Can Leak Your Data: Data Exfiltration via Backdoored Tool Use」（Zhang, Pei、University of Massachusetts Boston）は、まさにこのシナリオを実証している。ファインチューニングによって、特定のキーワードの組み合わせ（例えば医療分野なら薬品名1つ、配信分野なら「OBS」「Twitch」「RTMP」の組み合わせなど、一見普通のやり取りに紛れる1〜5語）が揃ったときだけ発動する「トリガー」をエージェントに仕込み、発動するとセッション内の機微情報をツール呼び出しで取得し、Base64エンコードした上で、正規の検索リクエストを装ったHTTPリクエストとして外部の攻撃者サーバーへ送信する、という一連の動作を自動で行わせることに成功している。トリガーの発動成功率は94〜98.8%、NeMo GuardrailsやLLM Guardといった代表的な防御フィルターの回避率は81.2〜86.7%に達したという。会話を重ねるほど、ユーザーの個人情報が段階的に聞き出されていく設計にもなっている。

つまり、量子化・ファインチューニングの過程に仕込まれた悪意は、テキスト出力の質を落とすだけでなく、ツール呼び出し権限を持つエージェント構成では、実際のデータ窃取という実害に直結しうる。本誌の別記事「AIエージェントの権限昇格問題」で扱った、権限を最小限に絞る・セッション単位でスコープを限定するという対策は、ここでも同じように有効な防御線になる。出所不明の量子化モデルに、無制限のツール権限やファイルシステムへのアクセスを与えることは、性能の良し悪し以前に、この種の攻撃を成立させる土台を自ら用意してしまう行為だと言える。

5. まとめ：どのリスクも、単純な二項対立では語れない

オープンウェイトモデルをめぐる論点は、「危険だから避けるべき」でも「自由だから使うべき」でもなく、どの軸で見るかによって評価が変わる、複層的な問題だ。

• 安全機構は、公開されれば除去されうる（ただしモデル世代・アーキテクチャで難易度は変わる）
• 逆に、商用モデルの過剰な拒否が、正当な防御業務の足かせになっているという指摘もある
• データ主権を理由にした導入には正当な動機があるが、フル活用できるのは資力のある組織に限られる
• ローカル運用そのものにも、著作権面での保護の欠如、設定ミスによる情報漏洩、そして量子化の過程で悪意が仕込まれるという、見えにくいリスクが存在する
• 特にファイル形式の選択だけでこのリスクを消すことはできず、エージェントにツール呼び出し権限を与える構成では、量子化に仕込まれた悪意が実際のデータ窃取に直結しうる

「オープンウェイトモデルは危険か、安全か」という一つの答えを探すのではなく、どの用途で、どの軸のリスクを許容できるかを、個別に判断する必要がありそうだ。