AI
ZyphraがAMD MI355X向けFP8アテンションカーネル「ZYFA」を公開——AITERより最大1.76倍高速
2026/11/08
ZyphraがAMD MI355X向けFP8アテンションカーネル「ZYFA」を公開
AIスタートアップのZyphraは、AMD Instinct MI355X GPU向けのオープンソースアテンションカーネルライブラリ「ZYFA(Zyphra FlashAttention on AMD)」を公開した。FP8(e4m3)およびBF16のプリフィルアテンションカーネルを含み、Apache 2.0ライセンスでGitHubに公開されている。同ライブラリはZyphraの推論最適化エンジン「Zyphra Optimization Engine(ZOE)」のアテンション処理基盤として利用されているという。
性能:最大1.76倍のスループット
実際のモデル活性値を用いた評価において、ZYFAのFP8カーネルはAMD標準カーネルライブラリ「AITER」比で1.16〜1.76倍のスループットを達成したと報告されている。BF16カーネルについてはほぼ同等(1.01〜1.02倍)とされる。
Gaussianベンチマーク(32Kトークン)では、2,672 TFLOP/s(FP8) を記録し、FP8のデータシートピーク性能の53%に相当するという(AITERは39%)。一方、Mistral-7Bの活性値では1.16倍にとどまり、FP8クロックがAITERの2,108 MHzに対してZYFAは1,628 MHzに落ち込む場面もあるとされる。
精度面では、ヘッド次元128においてZYFAのFP8誤差はAITERより62〜78%低いと報告されている。
なぜFP8アテンションはMI355Xで速度が出にくいのか
FP8の行列演算命令はBF16比で2倍のピーク性能を持つ。しかしFlashAttentionの計算フロー上、FP8が高速化できるのはQKᵀとPVの2つの行列積のみだ。その間に挟まるSoftmaxはベクトルユニット上で動作するため、FP8にしても速度は変わらない。
32クエリ対128キー(ヘッド次元128)の構成では、FP8の行列演算に1,024サイクル、SoftmaxのベクトルパイプにはFP8でも896サイクルかかる。両者をほぼ完全にオーバーラップさせなければ行列ユニットの稼働率は上がらない。ZyphraがAITERのスレッドトレースを分析したところ、AITERでは行列パイプが31.7%のサイクルでアイドル状態になっていることが確認されたという。なお、MI355Xは行列命令の完了をハードウェアで追跡しないため、命令発行の順序によってオーバーラップを実現するしかない構造となっている。
ZYFAの3つの技術
1. Lean P:指数演算を乗算加算1回で代替
e4m3フォーマットのビットパターンを整数として読むと、値が2倍になるごとに8ずつ増加する。この性質を利用し、2のx乗のコードを「8xに定数を加えた値」で近似する。ZYFAはFP8の確率値を乗算加算1回と整数変換1回で書き込む「Lean P」を採用し、1ブロックあたりのSoftmaxベクトルサイクルを896から384に削減したと説明されている。
2. 2ウェーブのピンポンスケジュール
1つのSIMDに2つのウェーブを割り当て、一方が行列命令を発行している間、もう一方が確率計算を行うというピンポン方式のスケジューリングを採用する。Lean Pとの組み合わせで、ステディステートにおける行列パイプの稼働率はFP8精確計算の60%から86%へ向上したと報告されている。MI355Xのハードウェア特性上、スケジューリングはPythonジェネレータで生成したハンドアセンブリで実装されており、HIPベースの実装では43〜46%多いサイクルが必要になるという。
3. ブロック単位スケーリングと丸め後の行和
Mistral-7Bの特定レイヤーでは、(行、64キーブロック) のペアのうち91%がe4m3のサブノーマル領域に入るほど行最大値を下回ることが確認されたという。ZYFAは各64キーブロックを2の累乗でスケーリングし、CDNA4のスケール付き行列命令によってコストなしに係数を除去する。また、丸め後の確率の合計をブロックあたり1回の追加行列命令で計算し(行列演算量は約6%増)、重みの総和が1となるよう補正する。
対応環境と入手方法
ZYFAは現時点で AMD Instinct MI355X(CDNA4アーキテクチャ、gfx950)専用であり、ROCm 7.2.3、PyTorch 2.12が必要とされる。インターフェースはflash_attn_func互換のドロップイン形式で提供される。ヘッド次元は128とMLA形状(192/128)に対応する。コードはGitHub上でApache 2.0ライセンスとして公開されており、技術詳細はarXiv(2611.07496)に掲載された論文で解説されている。
出典: Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster