AI
Yandexが生成AI推薦モデル「Sona」を発表——多段カスケードを単一Transformerで代替し、いいね数11%超増
2026/10/07
多段カスケードを1モデルに統合する「Sona」
Yandexは、推薦システムの設計を根本から見直した生成AIモデルSonaを発表した。技術レポート（arXiv: 2608.11015）によれば、Sonaは候補生成とランキングを単一のシステムに統合したモデルであり、従来の多段パイプラインを丸ごと置き換えるものとして設計されている。
一般的な本番環境の推薦システムは、候補生成器→プレランカー→重量級ランカーという「カスケード」構成を取る。Yandexのスマートスピーカー向け以前のスタックも、Argusと呼ばれる推薦Transformerからのシグナルを含む数百の手動設計フィーチャーを使っていた。Sonaはこれに対して、15以上の候補生成器・プレランキング・ランキングの全段階を1つのTransformerで代替し、手動設計フィーチャーを一切使わないアーキテクチャを採用している。
アーキテクチャの概要
セマンティックトークナイザー
RajputらのSemantic ID定式化に倣い、各トラックは3つの離散コードのタプルとして表現される。凍結済みのマルチモーダルLLMが最初の90秒のメルスペクトログラム、タイトル、アーティスト、タグを読み込みプリフィルモードで動作。続く4層の精錬Transformerが視聴行動とのアラインメントを行い、InfoNCEを協調トラックペアに適用する。残差K-meansが各3万2,000エントリの3つのコードブックに量子化し、Recall@1000でCLMRオーディオベースラインの0.8111に対して0.8524を達成したと報告されている。
履歴圧縮付きエンコーダー
Sonaは8,192件の過去イベントを対象にアテンションを行う。ただし全イベントへのフルアテンションはコストが大きいため、深さを非対称に配分している。直近2,048イベントには7層の自己アテンションスタックを適用し、古いイベントはクロスアテンションと1層のフルヒストリー層のみを通る。論文によれば、この設計によりフルアテンションに近い品質を約半分の推論コストで維持できるとされている。
デコーダーとランキングモジュール
2層のデコーダーが幅1,024のビームサーチによってSemantic IDタプルを生成する。カタログトライが無効なプレフィックスを除外し、各タプルは同一コードを持つ全トラックに展開される。その後、4層のクロスアテンションから成るランキングモジュールが、共有エンコーダーのメモリに照らしてスコアリングを行う。
「本番に出ない教師」による蒸留
ランキングモジュールの学習には凍結したTeacher Ranker（パラメータ数0.6B、手動設計フィーチャーなし）を使う。教師は1年間のエンゲージメントイベントを用いた次アイテム予測の事前学習と、マルチヘッドランキングのファインチューニングの2段階で訓練され、事前学習を除いた場合は加重ペア精度が0.6215から0.6153に低下したと報告されている。
蒸留手法は**ロールアウト蒸留（Rollout Distillation）**と呼ばれる。学習時に現在のデコーダーがビーム候補を生成し、教師がそれらとログ上のインプレッションをスコアリング。ランキングモジュールがそのスコアにMAEで回帰する。損失は L = L_NTP + L_rollout + L_impression の形で結合され、共有エンコーダーの両方を更新する。推論時には教師は取り除かれる。
また学習はオンラインで継続される。イベントは15分ウィンドウでセッション化されてGPUトレーナーに入力され、新しい重みは10分ごとにサービングに反映。エンドツーエンドのレイテンシは中央値45分、p99で60分とされている。サービングはNVIDIA Triton Inference Serverで行われ、CUDAグラフの活用によりモデルFLOPs利用率41%を達成したと報告されている。
A/Bテストの結果
Yandexスマートスピーカーでの7日間・各スプリット15%のユーザーを対象にした本番A/Bテストでは、本番コントロールに対する以下の変化がいずれも統計的に有意だったとされている。
| 指標 | 変化 |
|---|---|
| アクティブユーザー数（主要指標） | +4.53% |
| 総聴取時間 | +6.30% |
| いいね数 | +11.42% |
| リピートコマンド数 | +17.99% |
| 深くエンゲージしたユーザー数 | +7.37% |
アクティブユーザー数の伸びは、前世代のArgusが同サーフェスで達成した+1.93%の2.35倍に当たると報告されている。
競合システムとの比較
Sonaは生成型推薦の単一モデルとしては初ではない。快手（Kuaishou）のOneRecはすでにエンコーダー・デコーダー単一モデルをQPSの約25%に適用しており、MetaのHSTUはユーザーアクションの逐次変換として推薦を再定式化した。MarkTechPostの記事によれば、Sonaが独自の点として挙げられるのはカスケードの完全代替・手動フィーチャーなし・蒸留ランカーの組み合わせをオンラインで検証したことだという。
なお、Sonaのコードや重みは現時点では公開されておらず、全トラフィックへの展開もまだ行われていないとされている。
まとめ
YandexのSonaは、長年の慣習だった多段推薦カスケードを単一の生成Transformerへ統合し、手動フィーチャー設計を排除するという設計思想を本番検証した事例として注目される。技術的な詳細はarXiv論文（2608.11015）で確認できる。
出典: Yandex Introduces Sona: A Single Generative Recommender That Replaces Entire Recommendation Cascade