TorchNeuronでHugging FaceモデルをAWS Trainiumで動かすのがより簡単に

HFモデルのTrainium対応が前進

Hugging Faceは公式ブログにて、AWS Trainiumチップ上でHugging Faceのモデルを動かすための統合が改善されたと発表した。TorchNeuronはAWSのNeuron SDKを通じてTrainium/Inferentiaハードウェアを活用するためのPyTorchフロントエンドであり、今回の取り組みによりHugging Faceのエコシステムとの親和性が高まったとされる。

注: 本記事は公式ブログの抜粋・概要情報をもとに作成しており、詳細な手順・ベンチマーク数値・対応モデル一覧など本文の具体的な内容は確認できていない。以下は現時点で把握できている範囲での紹介となる。

TorchNeuronとは

TorchNeuronはAWSが提供するNeuron SDKの一部であり、PyTorchで書かれたモデルをAWS独自のアクセラレータ（TrainiumおよびInferentia）向けにコンパイル・実行するためのツールチェーンだ。Transformersベースのモデルを含む多くのPyTorchモデルをほぼそのままの形でAWSシリコン上で動作させることを目的としている。

Hugging Faceとの統合強化

ブログのタイトルが示すように、HuggingFaceのモデルをAWS Trainium上で実行するプロセスが「これまで以上に簡単になった」と報告されている。具体的な改善内容については本文全文が参照できないため詳細は不明だが、Transformersライブラリとの互換性向上やワークフローの簡略化が含まれる可能性が高い。

AWS TrainiumとHugging Faceの関係

AWSとHugging Faceは以前から協業関係にあり、Amazon SageMakerやAWS Deep Learning Containersを通じたHFモデルのデプロイ支援を行ってきた。TrainiumはAWSが独自設計したMLトレーニング向けチップであり、GPU代替の選択肢としてコスト効率の観点から注目を集めている。今回の発表は、その利用ハードルをさらに下げる動きとして位置づけられる。

まとめ

Hugging FaceとAWSの統合深化は、GPU以外のハードウェアでの大規模モデル運用を検討する組織にとって有益な選択肢が広がりつつあることを示す動きといえる。詳細については公式ブログ（https://huggingface.co/blog/hf-torchneuron）を参照されたい。

---

出典: TorchNeuron: running HF models on AWS Trainium is easier than ever