箱からマスク・切り抜きまで1つでこなすVLM「WeVisOne-VL」

どんな論文か

WeChat Vision（Tencent Inc.）のチームによる技術報告です。視覚と言語を扱うモデル（VLM）は画像全体の理解こそ得意なものの、細かい知覚、つまり「どこに何がいくつあるか」を正確に答えるのはまだ苦手だ、という問題意識から出発しています。著者らは Qwen3-VL を土台に、2B と 4B の2つのサイズで WeVisOne-VL を開発しました。物体検出、言葉で指した物の位置特定、数え上げ、点で指す課題、OCR、領域分割（セグメンテーション）、切り抜き（マッティング）を1つのモデルで一手にこなします。学習には約1億枚の画像と約36億個の箱の注釈を集めたデータ基盤を使い、3段階の教師あり学習のあとに強化学習をかけています。

この論文の肝

一言で言うと、「箱を出すついでに、その物の『名札』トークンを1つ出し、それを小さな画素デコーダーに渡してマスクや透明度まで描かせる」設計です。

一般に、VLM に領域分割をさせるときは、VLM が出した箱や特別なトークンを別の大きな分割モデル（SAM など）に渡す構成がよく使われてきました。一方、本研究では VLM が箱の座標のすぐ後ろに <OBJ> トークンを出し、その隠れ状態（モデル内部のベクトル）を約9.6M パラメータの軽いデコーダーに渡します。デコーダーは VLM 自身の画像エンコーダーの特徴を使い回すため、別の大型分割モデルは要りません。

もう1つの柱は、「対象が画像に無いとき、何も出さない」ことを学習の中心に据えた点です。注釈づくりの段階で、まぎらわしいのに実は該当物が無い質問（ハードネガティブ）を集めています。強化学習でも、対象が無い問題では「何も予測しなかったときだけ報酬1」を与える設計にしました。

図1　位置特定VLMの作り方の違い。一般的な構成と、この論文の設計の違いを並べたもの。

使いどころと価値

意味: これまでの VLM 系の位置特定モデルは、箱と点までは出せても、画素単位の出力は外部モデル頼みでした。また「無いものを無いと言う」力も弱いままでした。この論文は、1つのモデル・1つの出力形式で箱からアルファマット（髪の毛のような細部や半透明を0〜1の値で表す切り抜きマップ）まで一貫して出せることを実証しました。そのうえで、拒否の力も大きく引き上げられることを30を超えるベンチマークで示しています [引用1]。

価値: 効果がいちばん大きく出たのは、拒否と密集場面です。自社ベンチマーク WeRef-Bench では、対象が無い質問を断る割合が 4B で 96.4% に達しました（比較対象で次点の LocateAnything-3B は 73.0%）。参照セグメンテーションの Ref-ZOM でも、拒否率は UniPixel-7B の 0.3 に対して 86.0 を記録しています。既存の分割モデルは対象が無くてもマスクを出してしまう、と著者らは指摘しています [引用2]。密集物体の Dense200 では、検出の平均 F1 が 71.3 となり、LocateAnything-3B の 58.7 を大きく上回りました。

使いどころ（筆者の見方による例）:

• EC や画像編集のツールで、「白いシャツの人だけ切り抜いて」のような言葉の指示から、髪の毛まで残したアルファマットを作る場面。これまで「VLM で位置を出す → SAM 系で分割 → 切り抜きモデル」と3段で組んでいた処理を、1モデルにまとめられそうです。
• 棚の商品や群衆の数を数える場面。数え上げは完全一致の正答率で評価されており、MixCount（いろいろな物が混ざった場面で細かく数える課題）の test で 40.4% を達成しました。比較対象で最も高い LocateAnything-3B は 15.2% です。
• 「赤い車はある？」と聞くエージェントやロボットのように、誤検出が後工程を壊す場面。無い物に箱を出さない堅牢さが、ほかのどの性能よりも効いてきます。

今日からできること: 重みとコードは公開されています（下の「手元で試すなら」を参照）。2B/4B のため、一般に単一 GPU での推論を試しやすいサイズと考えられます。コードを使わない道もあります。自前のデータで位置特定モデルを学習しているなら、「否定の質問は画像全体を見て人が確かめ、確かに無いものだけを空の正解として入れる」という注釈の作り方は、そのまま取り入れられます。もう1つ、「何も出さないときだけ報酬を与える」という報酬設計も応用できます。

向かない場面・前提: 著者ら自身が、一般的な学習データが少ないため、土台のモデルより汎用の能力が落ちうると書いています [引用3]。推論の速さを優先して思考の連鎖（CoT）を使わない設計なので、複雑な推論が要る課題は苦手かもしれません。対話も1ターン限りです。また、自社の大規模データ基盤を前提にしているため、学習の再現は簡単ではありません。

仕組み

全体は「データづくり → 3段階の教師あり学習（SFT） → 強化学習」の流れで進みます。

図2　WeVisOne-VLの作り方。データづくりから強化学習までの順番。

データ基盤（WDE）: まず、Wikipedia と WordNet をもとにした知識グラフで、カテゴリ名と参照表現（「左から3番目のリモコン」のような、特定の物を指す言い回し）を整理します。検出用の候補は、SAM3 と社内の開放語彙検出器（学習時に無かったカテゴリ名でも探せる検出器）から並行して集めます。そのうえで Qwen3-VL に、各候補が質問に合っているかを判定させます。マスクは SAM2 で作り、元の箱と同じ質問に結び付けます。切り抜き用には専用の注釈モデルを学習させ、コーパス全体のアルファ値を付け直しました。学習ごとにモデルの誤りを分析し、次のデータ収集や注釈の修正に回す仕組みも備えています。

出力の形: すべての課題を「構造化された次トークン予測」として扱います。座標は <0> から <1000> までの専用トークンで正規化して表し、箱は4つ、点は2つの座標で表現します。対象が無ければ None を出します。分割や切り抜きでは、箱の4つの座標の直後に <OBJ> を出します。

画素デコーダー: 3つの部品からなります。1つ目は、ViT（画像を小さなパッチに分けて処理するエンコーダー）の中間層の特徴を多段の共有メモリにまとめる部分です。2つ目は、<OBJ> の隠れ状態と予測した箱を手がかりにして、その物の特徴を集めるデコーダーです。Deformable DETR 型で、6ブロックあります。3つ目は、粗いマスクから3段階で細かくしていく予測部です。たとえるなら、VLM が「この箱の中の、こういう物」と書いた付箋を渡し、デコーダーがそれを見ながら輪郭をなぞる役割分担です。

3段階の SFT: 段階1では、画像エンコーダーを固定して言語モデルだけを学習します（90M 例を 13K ステップ）。密集した例で同じ出力を繰り返す崩れが起きやすいため、1カテゴリあたり最大50個までの例を主に使います。段階2では全体の固定を外し、最大 1,960 視覚トークン、1回の応答あたり最大500個の箱・点まで広げます（約40M 例を 9K ステップ）。段階3では、まずデコーダーを 250M の分割データで 100K ステップ慣らします。次に、通常の次トークン予測と画素の課題を1:1で交互に 9,000 ステップ学習します。最後に VLM を固定し、130M の切り抜きデータでデコーダーだけを 100K ステップ調整します。

強化学習: SFT モデルで1問ごとに複数回答えさせ、成功したりしなかったりする「迷っている」問題を約140K 選びます。これに箱と点のデータを足して計178K 例にし、GRPO（同じ問題への複数の回答を互いに比べて学ぶ強化学習）をかけます。1問につき8回答を出させ、予測した箱と正解の箱を1対1で対応付けた重なり具合で報酬を決めます。見落としと重複は減点とし、分割や切り抜きでも報酬は箱だけで計算しています。

結果

評価は、推論時の温度を0にした決定的な生成で、1枚あたり最大 1,960 視覚トークンの条件で行われました。比較相手は Qwen3-VL・Qwen3.5 系と、VLM ベースの位置特定モデル Rex-Omni-3B、LocateAnything-3B です。

• 検出（F1 の平均値）: COCO で WeVisOne-VL-4B は 57.1 を記録しました。LocateAnything-3B は 54.7、専用検出器の GroundingDINO-T は 56.6 です。LVIS では 55.3 となり、LocateAnything-3B の 50.7 を上回りました。差は密集・小物体の Dense200 と VisDrone で特に大きいと著者らは書いています [引用4]。
• 参照検出: RefCOCOg-Rej の拒否率は 67.4% に達しました（Qwen3-VL-8B は 22.5%、Rex-Omni-3B は 0.5%）。PR-Bench の拒否率は 52.6% で、比較対象で最も高い Qwen3-VL-4B の 10.8% を大きく引き離しています。
• 数え上げ: PixMo-Count の val/test で 93.7%/89.6% を達成し、報告されたすべてのベンチマークと分割で最高値を記録しました。
• OCR: 領収書の SROIE で F1 平均 68.1 となり、専用 OCR である PP-OCRv5 の 58.6 を上回りました。
• 参照セグメンテーション: ReasonSeg の val で gIoU 71.2 を記録しました（LISA-13B（ft）は 65.0）。明示的な CoT を使わずにこの値に達しています。
• 切り抜き: 言葉で対象を指定する自社ベンチマーク WeRefMat を見ます。カテゴリ名で指定した場合の MAD（低いほど良い誤差）は 16.4 で、SAM2-Matting（SAM3）の 70.8 を大きく抑えました。参照表現で指定した場合は 9.8 となり、Qwen3.5-9B と SAM2-Matting の組み合わせ（22.4）に差をつけています。なお箱で指定する P3M-500-NP では、2B の MAD が 6.6、4B が 7.3 と、小さいモデルのほうが良い結果も混ざっています。

図3　WeRef-Benchで対象が無い質問を断った割合。社内ベンチマークWeRef-Benchの拒否率（論文の表3の値）。

限界と注意

著者らは限界として3つを挙げています。汎用データが少ないため土台のモデルより一般的な能力が落ちうること、CoT を使わないため複雑な推論に弱い可能性があること、そして1ターンの予測に限られることです。さらに、ベンチマークの指示は明快だが、現実の利用者の指示はあいまいで迷いがあり、意図を読む力が必要だとも述べています。

評価の面でも注意点があります。拒否率で大きな差が出た WeRef-Bench と、切り抜きで大きな差が出た WeRefMat は、どちらも社内のベンチマークです。本文の範囲では、これらの公開については確認できませんでした。数え上げや OCR の比較も、検出出力から数や文字を取り出す著者らの手順に沿ったものです。学習には約1億枚・約36億個の箱の注釈を持つ社内データ基盤と、数億例規模の学習が使われています。データ基盤自体の公開や、必要な計算資源については、読んだ範囲の本文に記載がありませんでした。

筆者は論文を読んで解説しており、論文の結果の追試はしていません。

手元で試した結果

今回は実験を組みませんでした。この論文の肝は、画像から座標トークンと <OBJ> を出し、画素デコーダーでマスクやアルファマットを作るモデルを学習で鍛える点にあります。文章で1回問いかけるだけの Claude Haiku の実験ではそこを確かめられないため、代わりの実験はしていません。

手元で試すなら

本文の冒頭に、次の公開先が案内されています。

• プロジェクトページ: tencent.github.io/WeVisOne-VL
• コード: github.com/Tencent/WeVisOne-VL
• 重み（Hugging Face のコレクション）: huggingface.co/collections/tencent/wevisone-vl

モデルは WeVisOne-VL-2B と WeVisOne-VL-4B の2つのサイズが用意されています。

原文からの引用

[引用1] Across over 30 benchmarks, WeVisOne-VL demonstrates leading performance on both object-level and pixel-level tasks, while maintaining robust rejection for object-absent queries.

（訳）30を超えるベンチマークで、WeVisOne-VL は物体レベルと画素レベルの両方の課題で首位級の性能を示しつつ、対象が無い質問に対する確かな拒否を保っている。

[引用2] Furthermore, the results on Ref-ZOM reveal that existing segmentation models tend to output a mask even when the target is absent, lacking the ability to reject negative expressions.

（訳）さらに Ref-ZOM の結果から、既存の分割モデルは対象が無いときでもマスクを出してしまう傾向があり、否定の表現を拒否する能力を欠いていることが分かる。

[引用3] First, the limited amount of general-purpose training data may compromise the general capabilities relative to the base model.

（訳）第一に、汎用の学習データが限られているため、土台のモデルに比べて一般的な能力が損なわれる可能性がある。

[引用4] The gains are especially pronounced on Dense200 and VisDrone, where accurate recognition must be maintained over many small and crowded instances.

（訳）改善は Dense200 と VisDrone で特に顕著で、そこでは多数の小さく密集した物体にわたって正確な認識を保たなければならない。