手柄はターンで配れ：長いLLMエージェントのRL手法MPO

最後にしか報酬が来ないエージェント学習の手柄配分

検索やツール呼び出しを何度も繰り返す LLM エージェントを、強化学習（RL）で鍛える手法の論文です。渡された本文には、著者の所属が書かれていません。

挑む課題は、報酬が最後に1回しか手に入らない点にあります。成功や失敗という最終結果を、どのターンのどのトークンの手柄にするか決めなければなりません。

そこで著者らは Multiscale Policy Optimization（MPO）を提案しました。Qwen3-4B-Thinking と Qwen3-30B-A3B-Instruct を使い、検索・ツール利用・自動化の3種類の課題で検証しています。

手柄はターンで配り、ターン内で微調整する

一言で言うと、手柄はターン単位で配り、ターンの中ではトークンごとに平均を保ったまま微調整する手法です。

従来の手法は両極端でした。GRPO などは1本の出力全体に同じ手柄を配ります。一方、PPO などはトークン1つずつを行動とみなし、ターンの区切りを意識しません。

この論文はまず観察から出発しました。検索エージェントの学習時に、critic（各時点の「この先の見込み」を予測するモデル）の値を調べています。すると値の揺れのうち、中央値で89.5%はターンごとの平均の差で説明できました[引用1]。ターン間の揺れがターン内を上回る軌跡も93.8%に達しています。

値がターンの境目で動くなら、手柄の伝え方も更新の重み付けもターンに合わせるべきだという発想です。理論面でも、トークン単位の近似ではターン内の分布がずれる分だけ余計な誤差を負うと示しています。

図1　手柄の配り方：従来手法とMPO。従来の2系統とMPOの、手柄の単位と確率比の単位の違い。

critic付きRLでエージェントを鍛える人に効く

エージェントの RL では、「ターン」と「トークン」を別々の時間単位として扱うと効果的です。手柄が伝わる距離をターン用とトークン用で別々に決める仕組みで、対話型エージェントの RL を一歩整理しました。

最も恩恵を受けるのは、critic 付きの RL で自前のエージェントを鍛えている開発者です。4B の BrowseComp-Plus における pass@1（1回で解ける割合）は、比較手法で最強の SAO を 4.33 ポイント上回りました。モデルやデータを変えず、手柄の配り方と更新の重み付けを変えるだけでこの差が生まれています。

筆者の見立てでは、次のような場面で役立ちます。

• 検索を何十回も回す調べもの用エージェントを、最終回答の正誤だけで鍛えている
• ツール呼び出しで業務フローを自動化するエージェントを、最終状態の判定で学習させている
• PPO を使っていて、長い軌跡だと手柄がうまく伝わらないと感じている

今日から試せることは2つあります。本文にコードの公開先は書かれていないため、まずは設計を取り入れるアプローチです。既存の PPO の GAE（時間をさかのぼって手柄を伝える計算）を、ターンの境目の値だけで回す形に変えるだけでも PPO を上回ったと報告されています。そこからターン内の平均を保つ補正と、ターン全体の確率比を順に加えていくと試しやすいはずです。

前提として、critic を学習させる計算資源と、何百ステップも回せる対話環境が欠かせません。critic を使わない GRPO 系の構成には、そのままでは組み込めません。報酬が最後の1回だけという設定で検証されている点にも注意してください。

図2　場面ごとの取り入れ方（筆者の見方）。論文の部品をどの順で手元に取り入れるかを、筆者が整理したもの。

ターン単位のGAEと平均を保つ補正、比はターン丸ごと

MPO は、手柄を見積もる MAE（Multiscale Advantage Estimation）と、ターン単位の重要度比の2つで構成されます。

1つ目は、ターンをまたぐ手柄の伝達です。各ターンの先頭にある critic 値の差だけを使って GAE を回します。手柄はトークンごとではなく、やり取り1回ごとに減衰します。おかげでターンの長さに左右されません。

2つ目は、ターン内での配分です。ターン内だけで短い手柄の痕跡を計算し、平均を引いて中心をそろえます。これをターンの手柄に足すため、ターン全体の平均は元の値のまま保たれます。これは最小二乗の射影（制約付きで最も近い値を選ぶ計算）として導かれた形です。

3つ目は、更新の重み付けです。ターン全体の確率比（新旧の方策でそのターンが出る確率の比）を、全トークンに掛けます。ただし勾配の止め方を調整し、各トークンの勾配には自身のトークンの手柄だけが効くようにしています。たとえるなら、班全体の評価を共通にしつつ、個人の貢献度の差も反映する採点方式です。

図3　MPOの1回の更新の流れ。軌跡からターンの手柄を出し、ターン内で配分し、ターン全体の確率比で更新する流れ。

2つのモデル規模で9指標すべて最高を記録

最大の成果は、2つのモデル規模の両方で、MPO が全9指標の最高点を記録したことです[引用2]。最強の比較手法との差は、課題によって数ポイントから1ポイント未満まで幅があります[引用3]。

4B の BrowseComp-Plus の pass@1 は、MPO が 48.08、SAO が 43.75 でした。下の図のとおり、GRPO や PPO との差はさらに広がります。

図4　4BのBrowseComp-Plus pass@1。Qwen3-4B-Thinkingで各手法を学習したときのBrowseComp-Plusのpass@1（%）。

要素を削る実験でも裏付けが取れています。重要度比をトークン単位に戻すと、報告された全指標で点数が下がりました[引用4]。4B の BrowseComp-Plus では 2.36 ポイント低下しています。ターン内の補正の強さをゼロにすると、同じ指標で 6.28 ポイント下がりました。

試行回数を増やしても優位は揺らぎません。4B の pass@32 は BrowseComp-Plus で 75.90 に達し、GRPO と PPO の高いほうを 3.61 ポイント上回りました。

図5　ターン内補正の強さβとBrowseComp-Plus pass@1。4Bの検索課題で、ターン内補正の強さだけを変えたときのpass@1（%）。

各設定1回の実行で、コード公開先の記載もない

各手法・各設定の学習は1回ずつで、ばらつきの幅は示されていません。評価には学習中で最も成績の良かったチェックポイントを選び、5回評価した平均を報告しています。

30B-A3B で試行回数を増やした際の伸びは、課題や試行回数によって変わると著者自身が述べています。critic の予測精度が上がった点についても、因果関係までは切り分けられないと断っています。

また理論はターン数が固定された設定を仮定しており、実験も報酬が最後の1回だけの課題に限られます。本文にはコードやモデルの公開先が記載されていません。

筆者は論文を読んで解説しており、論文の結果は追試していません。

手元で試した結果

今回は手元で試していません。この論文の主張は「この更新方式で学習すると性能が上がる」というもので、方策の更新と critic の学習が不可欠です。Claude Haiku にプロンプトを投げるだけでは学習が起きず、別の易しい課題にすり替わってしまうためです。

手元で試すなら

本文にコードの公開先は記載されていません。実験で使われたモデルは Qwen3-4B-Thinking と Qwen3-30B-A3B-Instruct です。評価には BrowseComp-Plus、GAIA、HLE、Claw-Eval、Automation Bench が使われています。

原文からの引用

[引用1] Across 2,048 trajectories and 16,323 turns from eight checkpoint batches of one search-agent run, differences between turn means account for a median of 89.5% of the critic’s token-weighted within-trajectory value variance.

（訳）1回の検索エージェント学習の8つのチェックポイントのバッチから得た2,048本の軌跡と16,323ターンにわたり、ターン平均どうしの差が、critic の軌跡内の価値の分散（トークン重み付き）の中央値89.5%を占めた。

[引用2] Table 1 shows that MPO achieves the highest reported score on all nine metrics at both model sizes.

（訳）表1は、MPOが両方のモデルサイズで、9つの指標すべてについて報告された中で最高の点数を達成したことを示している。

[引用3] Relative to the strongest non-MPO baseline in each column, MPO improves BrowseComp-Plus, GAIA, and HLE pass@1 by 4.33, 3.85, and 0.66 points on 4B, and by 3.59, 3.80, and 0.12 points on 30A3B.

（訳）各列でMPO以外の最強の比較手法と比べ、MPOはBrowseComp-Plus、GAIA、HLEのpass@1を4Bで4.33、3.85、0.66ポイント、30A3Bで3.59、3.80、0.12ポイント改善した。

[引用4] Replacing turn-level ratios with token-level ratios reduces every reported score. The Search pass@1 drops on BrowseComp-Plus, GAIA, and HLE are 2.36, 3.12, and 1.03 points for 4B, and 2.05, 2.19, and 0.58 points for 30A3B.

（訳）ターン単位の比をトークン単位の比に置き換えると、報告されたすべての点数が下がる。検索課題のpass@1の低下は、BrowseComp-Plus、GAIA、HLEで4Bが2.36、3.12、1.03ポイント、30A3Bが2.05、2.19、0.58ポイントだった。