Research
EMG信号と自然言語を共通空間に統合——筋電図の双方向意味検索フレームワーク「MyoSem」
2026/10/13
固定ラベル分類から「言語クエリで検索できる」筋電図理解へ
手の動作認識や義肢制御、ウェアラブルデバイスへのインタラクションを担う技術として、筋電図（EMG）センシングは長年研究されてきた。しかし既存の手法はほぼ例外なく、あらかじめ定義された固定のジェスチャラベルへの分類問題として設計されている。この「閉じたラベル体系」では、EMG信号と「どの指がどう動いて最終的にどんな手形になるか」を記述した自然言語テキストが共通の特徴空間に存在しない。そのため、EMG波形からテキスト説明を検索したり、逆に文章で「こういう動作のEMGを探したい」とクエリすることができなかった。
華南理工大学未来技術学院の研究チームは、この課題を解消するフレームワーク MyoSem を提案した。論文はarXiv（arXiv:2606.00174）で公開されている。
MyoSemの3つの設計要素
MyoSemは次の3コンポーネントを組み合わせることで、EMGと自然言語の双方向検索（EMG→テキスト、テキスト→EMG）を実現する。
1. マルチビュー意味プロトタイプ（Multi-View Semantic Text Space）
短いラベル名だけでは「どの指が関与するか」「動作の進行過程」「最終的な手形」といった情報が失われる。そこで各動作クラスを4種類の「ビュー」で表現する。
- T0：クラスアンカー（短いラベル）
- T1：動作プロセスの構造的説明
- T2：正規アクションと最終状態の説明
- T3：別表現のラベルベース記述（利用可能な場合）
これらのビュー間でマルチポジティブなコントラスト学習を行い、テキストエンコーダを訓練する。最終的な意味プロトタイプはT0・T2・T3の平均埋め込みとして構成され、EMGアライメントと検索の固定参照点となる。なお、著者らによればテキストエンコーダは中国語記述で訓練されており、英語表記は提示用の翻訳だという。
2. 活性化認識EMGエンコーダ（Activation-Aware EMG Encoder）
パッチ埋め込みだけでは、筋電図解析で重視される振幅や時間変動のキューが失われる可能性がある。そこで各パッチに対して以下の3種の局所記述子を計算し、ゲート付き残差ブランチとして埋め込みに加算する。
- 標準偏差（中心化RMS）：筋肉活性化の強度を反映
- 対数平均二乗エネルギー：パッチ内のエネルギー量
- 平均絶対時間変動：動作の変化の速さ
さらにTransformerでエンコードされたパッチ列に対してベクトル量子化コードブックによる正則化を適用し、再構成・識別・VQ損失の組み合わせで訓練する。
3. 意味クエリアライメント（Semantic Query Alignment）
連続EMG信号と離散テキストの粒度差を埋めるため、学習可能なクエリを用いて局所EMGのエビデンスを集約する。4つのグローバルクエリで段階的にプーリングした表現と、M個の意味クエリがEMGパッチ列にアテンションして得た表現を、固定の重み（α=0.5）で結合して最終EMG埋め込みとする。この埋め込みを凍結済みの意味プロトタイプとアライメント損失で学習させ、最終的に6つのEMG Transformerブロックをファインチューニングする。
7プロトコルによる包括的評価
研究チームはMyoSemをNinaPro DB2・EMG2Pose・NinaPro DB2→DB3の3データセットを使い、以下の7プロトコルで評価した。
| プロトコル | 内容 |
|---|---|
| DB2 ランダム分割 | 同一ユーザーの通常分割 |
| DB2 ユーザーシフト | テストユーザーを訓練から除外 |
| DB2 クラスホールドアウト | 10クラスを推論時のみ提示 |
| EMG2Pose ランダム | 同左 |
| EMG2Pose ユーザーシフト | 同左 |
| EMG2Pose クラスホールドアウト | 5クラスをホールドアウト |
| DB2→DB3 転移 | 健常者から切断者への転移 |
論文によれば、MyoSemは7プロトコルすべてにおいてEMG→テキスト方向のR@3で最高値を達成し、テキスト→EMG方向でも評価したすべてのテキストエンコーダを上回る検索性能を示したと報告されている。クラスホールドアウト設定は帰納的ゼロショット検索に相当し、訓練で見ていない動作クラスの記述を推論時に与えてプロトタイプを構築するという挑戦的な条件となっている。
数値の一例として、EMG→テキストR@1/R@3（NinaPro DB2 ランダム分割）の比較では、TCN（51.15/80.38）やAttn-CNN-RNN（47.55/75.98）などのベースラインに対してMyoSemが上位に位置すると報告されている（詳細は論文Table IIを参照）。
意義と今後の展望
MyoSemの最大の意義は、EMG手動作理解を「固定ラベルへの分類」から「言語でクエリ可能な意味検索」へと拡張した点にある。これにより、義肢ユーザーや研究者が「親指を伸ばして他の指を閉じた状態」のような自然な記述でEMGデータを検索したり、逆に特定のEMG波形から意味的に最も近い動作記述を取得したりすることが可能になる。
アブレーション実験では、意味プロトタイプ・活性化認識エンコーディング・意味クエリの各要素が検索性能の形成にどう寄与するかが分析されており、論文本文ではTable IVで各ブランチの効果が検証されている。
今後は、より多様な被験者や動作クラスへの拡張、リアルタイム推論への応用、さらに言語モデルとの統合によるインタラクティブな義肢制御インタフェースへの発展が期待される領域といえる。
出典: MyoSem: Aligning Electromyography with Natural-Language Action Semantics