動画から始まる本物のウェブ調査、最強AIでも正答率39.0%

どんな論文か

HKUST(GZ) を中心に、FDU、UW、Stanford、Microsoft Research などの研究者が共同で発表した論文です。テーマは「ディープサーチ（検索とブラウズを何段階も重ねて答えにたどり着くエージェントの調査）」を、あらかじめ作り込んだ検索環境ではなく、いま動いている生きたウェブそのもので評価することにあります。著者らはこれを OpenDS（Open-Web Deep Search）というタスクとして定義しました。そのうえで200問の評価セット OpenDS-World を構築し、12のフロンティアモデルを同じツール・同じ予算で競わせています。新しい手法を提案する論文ではありません。「いまのエージェントは現実のウェブ調査がどこまで通用し、どこでつまずくのか」を測る論文です。

この論文の肝

ひとことで言えば、情報を「探す」だけでなく「取りに行く」プロセスまで含めて測る評価セットです。

これまでのブラウジング系ベンチマークは、テキスト検索と複数の情報源にまたがる推論が中心でした。しかし現実のウェブでは、答えの手がかりが動画の音声に隠れていたり、PDFやParquet、ZIPファイルの中に眠っていたりします。年や地域を選び直して初めて表示される数値もあれば、博物館のバーチャルツアーを歩き回らないと見つからない展示物もあります。OpenDS-World は、この3つの性質（多様なモダリティ、ばらばらなファイル形式、操作しないと出てこない情報）を1問の中に組み合わせています。

もう一つの工夫は、どの問題も動画から始まる点です。最初の手がかりは、動画の映像と音声の両方を見聞きしないと特定できない実体に限られています。動画ページの文字を検索するだけでは解けない設計です。

図1　何を測るかの違い。従来のブラウジング評価とOpenDS-Worldが重視する点の対比。

使いどころと価値

意味: 「現実のウェブ調査は、検索の上手さだけでは決まらない」という事実を数字で突きつけた点が大きな一歩です。最良モデルでも200問中122問を落としました。さらに、消費したトークン数や時間と正答率の間に、単純な比例関係は見られませんでした。著者らの分析によれば、性能の差は「どの情報源を選ぶか」「失敗したときにどう切り替えるか」「いつ調査を打ち切るか」といった立ち回りの側にあるようです。

価値: エージェント開発者にとっては、自前の構成の弱点を分解して見極める物差しになります。論文は正答率だけでなく、ツールの呼び出し回数、所要時間、調査の終わり方、失敗後の動きまで細かく比較しています。たとえばツールの失敗は呼び出し全体の2.83%〜9.42%にすぎないのに、ツールの実行時間の19.27%〜61.90%を奪っていました。「失敗時の処理を改善すれば大幅に時間を短縮できる」といった改善の当たりを付けやすくなります。

使いどころ:

• 社内で調査エージェントを運用しており、PDFや表データ、動画が多い情報源まで扱わせたいとき。モデル選定において、テキストのみのベンチマークより実態に近い比較材料になりそうです。
• 自前のハーネスで「呼び出しは100回まで」「制限時間は1時間まで」といった予算を設けているとき。どのモデルが呼び出し回数の上限に先に達し、どのモデルが時間の上限に先に達するかという分析は、予算設計の参考になると考えられます。
• エージェントの失敗ログを見ると、同じ種類の操作（検索ばかり、GUI操作ばかり）が延々と続いているとき。論文でも同じ種類のツールを連続して使う傾向が強く出ており、自分の現場の挙動と照らし合わせることができます。

今日からできること: コード（GitHub）とデータセット（Hugging Face）がすでに公開されています。動画ファイルは評価セットに同梱されているため、元の YouTube 動画が消えても入力条件はそろいます。コードを使わずに設計思想だけ取り入れるなら、まずはハーネスに「ツールが失敗した回数と、それにかかった時間」を記録する仕組みを足すのが手軽です。もう一つは、予算切れで調査が止まった際、ツールを使えない状態でそれまでに集めた証拠だけから回答をまとめる「最終回答の段階」を設けることです。どちらも論文のハーネスが実践している工夫です。

向かない場面・前提: 実際に動いているウェブを使うため、時間がたつとページが変わり、結果が揺れる可能性があります（これは筆者の見方です）。1問あたり最大3,600秒・100回のツール呼び出しという予算で、12モデル×200問を回すには、相応のAPI費用と時間がかかります。また、答えが事実ひとつに決まる問題に限られており、調査レポートを書かせるようなタスクの質は測っていません。

仕組み

問題作成は3段階で進みます。

まず現実の手がかり（アンカー）の特定です。専門のアノテーター（データにラベルや注釈を付ける作業者）が8分野から候補動画を500本選びます。そして映像と音声から、裏づけを取れる実体を1つ特定します。その実体は Wikidata の1項目に一意に対応していなければなりません。

次にウェブ上での証拠の拡張です。出発点から検索クエリを作り、Google 検索の結果を1件ずつ確かめて、意味のつながりが明確な情報源を選びます。そこから次の実体を取り出し、この手順を繰り返します。各地点は、複数の独立したウェブ情報源で裏づけられている必要があります。情報源を選ぶ際は、モダリティ・形式・アクセスの種類がばらけるようにも配慮しています。

最後に問いの反転です。たどり着いた終点を正解とし、そこに至る経路全体を互いに依存する制約の束として言い換えます。途中の実体の名前は伏せ、遠回しな表現に置き換えます。どの手がかりも単独では答えを明かさず、全部を組み合わせて初めて答えが一つに絞れるように仕上げます。

図2　OpenDS-Worldの問題の作り方。動画を起点に証拠の経路を広げ、最後に問いへ言い換えて人が確かめる流れ。

その後、10人の独立したレビュアーが証拠の正確さと問題の妥当性を検証し、不備のある問題を除外して200問に絞り込みました。正解までの経路に付いた注釈は計787件で、1問あたり平均3.94件です。全体で4つのモダリティ、42の形式、7つのアクセスの種類にまたがります。

評価用ハーネスには、検索ツール（テキスト・画像・動画の検索）、GUIツール（移動、クリック、入力、スクロール、スクリーンショット、ダウンロードしたファイルの読み取り）、動画のフレームと字幕を読むツールの計16個が備わっています。古い観察結果は、別のモデルで要約するのではなく、機械的に切り詰めます。直近4件はそのまま残し、それより古い検索結果は上位2件まで、古いテキストは2,000文字までに制限します。採点には判定役のLLMとして Qwen3.8-27B を使い、正解と意味が同じかどうかで判定しています。

結果

トップは GPT-6 Astra の 39.0% で、人間が延べ1,000回挑んだときの正答率は 21.1% でした[引用1]。続くのは Claude Opus 5.5 の 38.00%、Gemini 3.8 Flash の 36.50%、Claude Fable 5.1 の 33.50% です。それでも最良モデルでさえ200問中122問を落としており、失敗率は61.00%にのぼります[引用2]。

ただし、人間とAIを同じ条件で比べたわけではありません。人間は1問ごとの時間制限なしに普通のブラウザで調査し、LLMの使用を禁じられていました。1人が受け持つのは20問で、50人がそれぞれの20問に平均12.92時間を費やしています。200問のうち85問（42.50%）は、割り当てられた5人の誰も解けませんでした。

図3　OpenDS-World全200問の正答率。主なモデルと人間（1,000回の試行）の正答率。人間は時間制限なし・LLMの使用禁止という別の条件で解いている。

問題の難しさは、人間の正解者数に応じて3段階に分けています。12モデルの平均正答率は、Low で39.66%、Medium で23.50%、High で16.76% と段階的に下がりました。High で最も高かったのは Gemini 3.8 Flash の 28.24% で、難しさによってモデルの順位が入れ替わります。

また、コストと正答率は比例しません。Gemini 3.8 Flash は GPT-6 Astra の約5.22倍のトークンを消費しながら、正答率はそれより低い36.50%にとどまりました[引用3]。調査の終わり方にも大きな差が出ます。GPT-6 Astra は200問中69.0%を自らの判断で終えました。一方、Qwen3.8-Flash が自分で終えたのはわずか6.5%で、80.0%はツールの呼び出し上限に達して終了しています[引用4]。ツールが失敗した直後の動きとしては「別のツールに切り替える」が最も多く、Claude Opus 5.5 では約83%がこの対応をとりました。

限界と注意

• 評価対象は、事実の答えが一つに決まる200問に限られます。8分野に分かれているため、分野ごとの問題数は18〜33問と多くありません。
• 採点はLLM判定（Qwen3.8-27B）によるもので、判定そのものの精度は本文の範囲では検証されていません。
• 人間との比較は条件が異なります（時間制限なし、LLMの使用禁止、1人20問）。そのため「AIが人間を上回った」と単純には読めません。
• 1問あたり3,600秒・100回のツール呼び出しという予算は、ハーネスの設計として決められたものです。予算を変えれば順位が変わる可能性があります（筆者の見方）。
• 実際に動いているウェブで評価するため、時間がたつと再現性が揺らぐと考えられます。入力となる動画だけは配布物に固定されています。
• 新しい手法の提案はありません。改善の方向性（長期的な調査の管理や自己改善）は付録で議論されています。

筆者は論文を読んで解説しています。手元で試したのは下の小さな実験だけで、論文の結果の追試は行っていません。

手元で試した結果

今回は試せませんでした。この論文の肝は、実際のウェブで検索・ページ操作・ファイル取得を重ねて証拠を集める総合力を測ることにあります。ツールを持たない Claude Haiku に1回問いかけるだけでは、その核心部分がまるごと抜け落ちてしまいます。また、本論文は評価セットの提案であり新しい手法を出していないため、比較対象の条件を論文に忠実に再現できませんでした。

手元で試すなら

• コード: github.com/Yu-xm/OpenDS
• データセット（OpenDS-World）: huggingface.co/datasets/Yu2020/OpenDS-World

システムプロンプト、最終回答用のプロンプト、判定用のプロンプトは論文の付録に全文が掲載されています。自前のハーネスを同じ条件に近づけて試すことも可能です。

原文からの引用

[引用1] The best-performing model achieves 39.0% accuracy, while human evaluation across 1,000 independent attempts yields 21.1% accuracy.

（訳）最も性能の高いモデルの正答率は39.0%で、1,000回の独立した試行による人間の評価では正答率21.1%だった。

[引用2] Even the strongest model fails on 122 of the 200 tasks, corresponding to a failure rate of 61.00%.

（訳）最も強いモデルでさえ200問中122問で失敗しており、失敗率は61.00%にあたる。

[引用3] Gemini 3.8 Flash consumes approximately 5.22 times as many tokens as GPT-6 Astra but achieves a lower accuracy of 36.50%.

（訳）Gemini 3.8 Flash は GPT-6 Astra の約5.22倍のトークンを消費しながら、正答率はそれより低い36.50%だった。

[引用4] In contrast, Qwen3.8-Flash terminates naturally on only 6.5%, with 80.0% reaching the tool-call limit, revealing substantial difficulty in completing search within the execution budget.

（訳）対照的に、Qwen3.8-Flash が自然に終了したのは6.5%のみで、80.0%は道具呼び出しの上限に達しており、実行予算内で探索を終えることに大きな困難があることを示している。