マイクラAI、VLAはそのままで「段取り」だけ変えたら長い課題の成功率が倍以上に

どんな論文か

HiSTEVE 1.0 は、人間と同じ条件でマインクラフトを遊ぶエージェントを作った研究です。一人称の画面だけを見て、キーボードとマウスだけで操作します。著者は Zecong Tang、Zian Guan、Yuncheng Guo、Zhanqiu Zhang、Yiwen Guo、Bo Dai の各氏で、所属は今回渡された本文には書かれていません。

狙いは、2つの能力を1つのシステムに統合することです。1つは、長い手順を見失わずにやり切る力。もう1つは、画面を見てキー・マウス操作を正確に出す力です。そのために、下の層に VLA（Vision-Language-Action：画像と指示文を受け取って行動を出すモデル）を1つ置き、上の層にそれを動かす「ハーネス」（モデルの呼び出しを外からまとめる仕組み）を据えました。

この論文の肝

一言で言うと、「操作の上手さ」と「段取りの上手さ」は別物で、後者はモデルの外で作るべきだ、という主張です。

これまでのマインクラフトのエージェントは、どちらか片方に偏っていました。VLA や視覚運動ポリシーは、画面からキー・マウス操作を直接出せます。しかし、タスクの状態を保ちながら依存関係を考える仕組みがありません。一方、LLM や VLM を使うエージェントは計画を立てられますが、実行は環境の API や用意済みのスキルに頼りがちです。そうした API はたいていのゲームには存在しないと著者は指摘しています。

図1　従来のマイクラエージェントとHiSTEVEの違い。低レベル操作と長い手順の管理を、それぞれどこが担うかを比べたもの。

そこでこの論文は、ハーネスに3つの部品を組み込みました。1つめは、VLA がこなせる範囲の小タスクだけを選ばせる計画。2つめは、完了の合図を受けたら画面で確かめる引き継ぎの仕組み。3つめは、確かめた事実だけを残す構造化メモリです。さらに、VLA を変えずにハーネスだけを入れ替える比較実験を行い、長い課題での伸びがハーネスに由来することを実証しました。この切り分けこそ、本論文のいちばん大事な点だと筆者は考えます。

使いどころと価値

意味: 新しく分かったのは、「実行役を鍛えるだけでは長い課題は解けない」と数字で裏づけられた点です。強化学習で VLA を鍛えると、単発タスクの MineStudio は 65.1% から 80.7% に伸びました。それなのに、長い課題の LongBench の成功率は 14.3% から動きませんでした。逆に、VLA を固定してハーネスだけを入れ替えると、LongBench の成功率は 10.7% から 25.0% に跳ね上がりました。エージェント研究では「モデルを強くすれば解ける」と考えがちですが、この結果は外側の設計こそが独立した伸びしろだと物語っています。

価値: いちばん恩恵を受けるのは、API の無い環境、つまり画面と入力デバイスしか触れない環境でエージェントを作る開発者です。もう1つ注目したいのが完了検出器です。パラメータ数 1.4B の専用検出器が、プロンプトで指示しただけの GPT-5.5（F1 0.776）を上回り、F1 0.863 を記録しました。「終わったかどうか」の判定は、巨大な汎用モデルに尋ねるより、小さくても専用に学習させたほうがよく当たるのです。

使いどころ（筆者の見方を含みます）:

• GUI を操作するエージェントを作っている場合。ボタンを押したあと、「押した」という自己申告ではなく、画面上で結果が見えたときだけ進捗として記録する。この設計はそのまま参考にできそうです。
• 何十回もツールを呼ぶ長いエージェントを回している場合。生の履歴をすべて抱え込むのではなく、確かめた状態遷移だけを残す。8.4節のメモリ設計は、文脈が膨らむ問題への有効な処方箋と考えられます。
• ゲームの自動テストや、ゲーム内ボットを研究している場合。「素材をN個集める」といった数量目標を、上限つきの小タスクの繰り返しに分け、残りの数だけを更新していく。こうすれば、同じ品を二重に数えずに済みます。

今日からできること: プロジェクトページは GitHub で公開されています（下の「手元で試すなら」を参照）。コードを使わなくても、設計思想はすぐに取り入れられます。たとえば自前のハーネスで、モデルの「完了しました」を進捗として扱わず、検証できた変化だけで作業状態を更新する。残りの必要数は「目標 − 確認済みの所持数（0未満にはしない）」で追う。筆者はこの部分を Claude Haiku で小さく試しましたが、問題が易しすぎて差は見えませんでした（下の節を参照）。

向かない場面・前提: VLA の学習には、Qwen2.5-VL-7B の微調整（画像エンコーダは固定）、人間のプレイデータ、そして強化学習用に Minecraft を複数並べて動かす環境が要ります。上位のプランナーには GPT-4o を使っています。著者自身、複数の手順が続く GUI 操作と失敗からの回復はまだ弱いと述べています。そのため、細かい GUI 操作が続く業務にそのまま持ち込むのは時期尚早と考えられます。

仕組み

全体は、遅い「計画」の時間軸と、速い「操作」の時間軸の2層で構成されています。

図2　ハーネスとVLAの1サイクル。計画の層と操作の層が、完了候補と検証を介して行き来する流れ。

計画の層。 ハーネスは作業記憶をもとに、いま実行できる小タスクの「型」（スキーマ）を絞り込みます。各型には、使える条件、引数、画面で見える完了条件、失敗条件、実行の予算が定義されています。プランナー（GPT-4o）はこの中から次の小タスクを選び、引数を埋めます。選ばれた小タスクは、関数呼び出しではなく決まった自然文の指示に変換され、VLA に渡されます。手順の正解ルートは与えません。プランナーは最終目標と現在の状況だけを見て、その場で判断します。

操作の層。 VLA は Qwen2.5-VL-7B をベースに作られ、指示文と現在の画面から、キー・マウス操作をトークンとして 20 Hz で出力します。ここで厄介なのが、場面によってマウスの動きの意味が変わることです。フィールドではマウスでカメラが回り、インベントリなどの GUI 画面ではカーソルが動きます。全パラメータを共有した学習で勾配を調べると、場面をまたいだ勾配は向きが揃いにくく、とくに RMSNorm（層の出力の大きさを整える正規化）で食い違いが最大になりました。そこで2つの工夫を入れています。

• RS-Norm: 各層の RMSNorm のスケールを、非 GUI 用と GUI 用の2組持ち、場面に応じて切り替えます。増えるパラメータは「層数 × 隠れ次元 × 2」だけです。
• Dual-Mouse: マウス移動のトークンを、非 GUI 用と GUI 用で別の語彙に分けます。どちらも同じ物理的な移動量に戻るので、分けているのは表現の上だけです。

VLA の学習は3段階です。①マイクラの知識を教える知識注入、②人間のプレイを真似る模倣学習、③環境からのフィードバックを使う強化学習。強化学習では、同じ開始状態から複数の軌跡を走らせ、グループ内で比べる GRPO を使います。加えて、成功した枝と失敗した枝で状態が一致する区間を取り出し、DPO 風の対比較で学習します。報酬は、モデルの自己申告ではなく在庫の変化から作ります。ブロックを壊してもドロップを拾わなければ成功に数えません。

完了検出器。 小タスクが終わったかを判定する分類器です。Qwen2.5-VL-3B をベースにし、VLA の画像エンコーダを共有します。800・600・400・200 ms 前の過去フレームを見て、さらに VLA 内部の隠れ状態（いま何をしようとしているか）をクロスアテンションで取り込みます。確率が閾値を2回続けて超えたときだけ、ハーネスに「完了候補」を送ります。ここで重要なのは、候補はあくまで候補だという点です。そのまま成功とは見なさず、ハーネスがあらためて画面で確かめます。確かめた結果に応じて、前進、その場での回復、計画のやり直しのどれかを選びます。

構造化メモリ。 記憶は4種類あります。作業記憶（いまの目標・確認済みの進捗・残りの要件）、エピソード記憶（各呼び出しの前後の状態と結果）、手続き記憶（成功から得た小タスク間の依存関係）、世界記憶（目印や位置関係）です。たとえるなら、作業日報に「確認済み」の欄しか作らないやり方です。

結果

単発の原子タスクでは、MineStudio Bench で平均 85.0%、OpenHA で平均 37.4% を達成しました[引用1]。MineStudio では、最強の比較相手である OpenHA Text/CoA（65.0%）を 20.0 ポイント引き離しています。項目別では Mine 93.3%、Kill 86.7%、Craft 66.7%、Smelt 93.3% です。一方 OpenHA での差は 36.8% に対して 37.4% と小さく、伸びたのは Embodied（37.0% → 46.0%）だけでした。GUI（27.2%）と Combat（39.0%）は、比較相手（33.3%、40.0%）をわずかに下回っています。

長い課題の LongBench（最終目標だけを与える14タスク）では、資源とクラフト 42.9%、探索と記憶 28.6%、回復 14.3%、自由課題 14.3% でした。OpenHA Text/CoA と比べると、それぞれ 28.6、21.5、11.4、12.9 ポイント上回っています。

アブレーション（部品を外して効果を測る実験）こそ、この論文で最も示唆に富む部分です。VLA を固定し、決まった長さで制御を戻す方式から完全なハーネスに替えると、MineStudio は 81.2% → 85.0% とわずかに変わっただけでした。それに対し、LongBench の最終目標の成功率は 10.7% → 25.0%、途中の進捗は 17.9% → 28.6% へと大きく伸びました[引用2]。強化学習は単発タスクを伸ばしたものの、LongBench は 14.3% のままでした[引用3]。また、RS-Norm と Dual-Mouse は、共有表現の 41.1% から、それぞれ単独で 57.3% と 61.9%、両方を入れることで 80.7% まで引き上げています。

図3　小タスクの完了判定のF1。クラスの数をそろえた4,674サンプルで、汎用VLMへのプロンプトと専用検出器を比べたF1。

完了検出器は、クラスの数をそろえた 4,674 サンプルで評価されました。専用検出器の F1 は 0.863 です。プロンプトで指示した GPT-5.5 は 0.776、GPT-4o は 0.690 でした。Qwen3.5 の 9B と 35B はほとんど「未完了」と答えてしまい、再現率は 0.030 と 0.042 にとどまっています。

限界と注意

著者自身、複数の手順が続く GUI 操作が大きなボトルネックだと認めています[引用4]。LongBench でも、回復と自由課題は 14.3% にとどまり、長い課題の成功率は最も良い構成でも 25.0% です。「鉄のツルハシを一から作れる」という主張はありますが、毎回確実に作れるわけではないと読むのが妥当です。

評価の範囲にも注意が要ります。LongBench は14タスクと小さく、MineStudio も20タスク×3試行です。アブレーションにも少し気になる点があります。同じ部品構成に見える「+環境 RL」の行（LongBench 14.3%）と「固定長で引き継ぎ」の行（10.7%）で値が食い違っており、その理由は本文からは読み取れませんでした。比較対象はすべてマインクラフトで、他のゲームへの一般化は試されていません。

再現には、7B の VLA の微調整、3B ベースの検出器、強化学習用の Minecraft の並列実行、そして GPT-4o の API が必要です。

筆者は論文を読んで解説しています。手元で試したのは下の小さな実験だけで、論文の結果の追試はしていません。

手元で試した結果

これは論文の追試ではありません。ハーネスの考え方のうち、文章で扱える部分を小さく試したものです。確かめたかったのは次の2点です。1つは、検出器の完了候補や VLA の自己報告、プランナーのメモを証拠に数えず、検証できた在庫の変化だけで作業記憶を更新すること。もう1つは、残りの必要数を max(0, 目標 − 所持) で追うこと。この2つによって、長いログのあとでも状態を正しく追えるかを見ました。

マイクラ風の合成ログ（10〜12行）を10問作りました。ログには、拾えなかったドロップ、未回収の出力、クラフトによる消費、死亡などによる目減り、目標の途中変更といった罠を仕込んでいます。モデルは claude-haiku-4-5-20251001 で、1問1回です。条件A（同じ証拠ルールを渡して、ログをそのまま読ませる）は 10/10問（100.0%）、平均出力 1326.3 トークンでした。条件B（1行ずつ検証済みの作業記憶を更新させる）も 10/10問（100.0%）で、平均出力は 1831.2 トークンでした。

両方とも全問正解だったため、この実験では2つのやり方の違いは見分けられませんでした。問題が易しすぎたようです。分かったのは、条件Bのほうが出力が長くなるということだけです。問題が10問と少なく、視覚による検証や VLA の実際の操作は試していません。

手元で試すなら

論文の冒頭に、プロジェクトページとして github.com/Andytonglove/HiSTEVE-1.0 が案内されています。今回渡された本文の範囲には、学習済みモデルの重みやデータの公開状況に関する具体的な記載はありませんでした。リポジトリの中身を確かめてから使ってください。

原文からの引用

[引用1] HiSTEVE achieves state-of-the-art atomic-task performance, scoring 85.0% on MineStudio Bench and a 37.4% average success rate on OpenHA, while also completing long-horizon tasks such as crafting an iron pickaxe from scratch like human players.

（訳）HiSTEVE は原子タスクで最高水準の性能を達成し、MineStudio Bench で 85.0%、OpenHA で平均成功率 37.4% を記録した。また、人間のプレイヤーのように鉄のツルハシを一から作るといった長い課題もこなす。

[引用2] With the VLA held fixed, the full harness more than doubles goal success relative to fixed-horizon handoff, highlighting the importance of organizing local execution around a persistent task state.

（訳）VLA を固定したまま、完全なハーネスは固定長で引き継ぐ方式に比べて目標の成功率を2倍以上にした。持続するタスク状態を中心に局所的な実行を組み立てることの重要性が浮かび上がる。

[引用3] This separation indicates that post-training strengthens local execution reliability, while improving the executor alone is insufficient to solve long-horizon coordination.

（訳）この分かれ方は、事後学習が局所的な実行の信頼性を高める一方で、実行役を改善するだけでは長い課題の調整を解くには足りないことを示している。

[引用4] Our trajectory analysis shows that failed GUI episodes can reach and interact with the correct interface but break down during multi-step item placement, intermediate-state correction, or result retrieval, indicating that robust multi-step GUI execution remains a key bottleneck.

（訳）軌跡を分析すると、失敗した GUI のエピソードは正しい画面にたどり着いて操作できても、複数段階のアイテム配置、途中状態の修正、結果の取り出しで崩れていた。頑健な多段階の GUI 実行が依然として主要なボトルネックであることを示している。