AI
テンセント「WeVisOne-VL」：検出・OCR・セグメンテーション・マッティングを1モデルに統合
2026/11/05
テンセントが「WeVisOne-VL」を公開——7タスクを1モデルで処理
テンセントのWeChat Visionチームは、視覚言語モデル（VLM）「WeVisOne-VL」をApache 2.0ライセンスで公開した。Hugging Face上では2Bサイズ（実測2.44Bパラメータ）と4Bサイズ（実測4.83Bパラメータ）が提供されており、物体検出・参照表現理解（Referring）・物体カウント・ポインティング・OCR・セグメンテーション・アルファマッティングという7タスクを単一モデルで処理できると報告されている。
Qwen3-VLベースの知覚特化モデル
MarkTechPostの報道によれば、WeVisOne-VLはAlibaba CloudのQwen3-VLをベースに構築されており、オープンエンドの会話ではなく「細粒度の位置推定」に特化して設計されている。ユーザーは出力の粒度を選択でき、点・バウンディングボックス・バイナリマスク・連続アルファマットのいずれかを得られる。
ピクセルレベルのタスクには、わずか9.6Mパラメータの専用ピクセルデコーダが用意されており、SAMのような別途の大規模セグメンテーションモデルが不要だという。クエリ対象の物体が画像内に存在しない場合、推測したボックスを出力するのではなく「None」を返す設計になっている点も特徴として挙げられている。
アーキテクチャ：OBJトークンを介したピクセルデコード
記事の説明によれば、全タスクは構造化された次トークン予測として定式化されている。正規化されたボックス座標や点は <0> から <1000> の座標トークンで表現される。
ピクセルタスクでは、予測ボックスの直後に <OBJ> トークンが出力される。モデルカードの説明によると、このトークンの隠れ状態がピクセルデコーダへのクエリとなる。ピクセルデコーダは以下の3要素で構成されている。
- Visual Feature Adapter：第2のイメージエンコーダを使わず、Qwen3-VL ViTのマルチレベル特徴を再利用する
- Box-Guided Query Decoder：
<OBJ>の隠れ状態とボックスを初期値とする6層の変形可能クロスアテンションブロック - Dense Prediction Head：S/4・S/2・S/1の各スケールで精緻化し、フル解像度のマスクまたはマットを出力する
学習プロセス：1億枚超の画像と多段階SFT
学習には、知識グラフ駆動のデータエンジンで1億枚超の画像に約36億個のボックスアノテーションを付与したデータが使われたと報告されている。SAM3・Rex-Omni・自社製検出器が領域候補を提案し、Qwen3-VLが検証する構成だという。
学習は3段階のSFT（教師ありファインチューニング）で進められた。ステージ1では9,000万サンプルで出力フォーマットを整合させ、ステージ2では入力を1,960ビジュアルトークン・最大500ボックス/レスポンスに拡張。ステージ3でピクセルデコーダを学習し、1億3,000万サンプルでマッティング専用の追加学習も実施したとされる。最終段階では不確実性フィルタリングを経た17万8,000件のサンプルでGRPO（強化学習）が適用されたと論文に記されている。
ベンチマーク結果：自社報告値での各タスク成績
以下の数値はすべてテンセントの自社報告値であり、グリーディデコーディング・画像あたり最大1,960ビジュアルトークンの条件で計測されたとされている。
| タスク | WeVisOne-VL（4B） | 比較モデル |
|---|---|---|
| Dense200 密物体検出（F1） | 71.3 | LocateAnything-3B: 58.7 |
| RefCOCOg Referring（F1） | 81.8 | LocateAnything-3B: 77.6 |
| LVIS 検出（F1） | 55.3 | — |
| PixMo-Count カウント（正解率） | 89.6% | 比較モデル: 82.8% |
| TotalText OCR（F1） | 52.0 | PP-OCRv5（専用）: 25.7 |
| ReasonSeg セグメンテーション（gIoU） | 71.2 | LISA-13B: 65.0 |
| P3M-500-NP マッティング（MAD↓） | 7.3 | SAM2-Matting（SAM3）: 15.4 |
一方で課題も報告されており、PR-Benchにおける「対象物なし」クエリの棄却率は**52.6%**にとどまっており、約半数の存在しない物体クエリに対してもボックスを出力してしまうという。
なお2Bモデルは多くのタスクで4Bモデルに劣るが、P3M-500-NPのボックスプロンプトマッティングでは4Bの7.3に対して6.6 MADと上回る結果を示した点が特記されている。
動作環境とアクセス方法
MarkTechPostによれば、TransformersまたはvLLM経由でBF16精度を使い、シングルGPU上で動作する。NPUおよびCPUデバイスもパッケージの対応リストに含まれているという。必要なVRAM量は公式には開示されていないが、コミュニティが公開したGGUF版では6GBのRTX 2060での物体レベルタスク動作が確認されていると報告されている。
モデルはHugging FaceでApache 2.0ライセンスのもと公開されており、GitHubリポジトリも提供されている。検出器・OCRエンジン・セグメンタの3つを1モデルに置き換えられる可能性があり、開発者にとって実用的な選択肢になりうると記事は伝えている。
出典: Tencent WeVisOne-VL Unifies Detection, OCR, Segmentation and Matting