AI Trend Note
    ← 一覧へ戻る
    リフレクションと自己修正、AIエージェントが自分の誤りに気づく仕組み
    AIエージェントと推論 用語解説 5分で読めます

    リフレクションと自己修正、AIエージェントが自分の誤りに気づく仕組み

    正解を与えなくても、自分の出した答えを批評して直していくリフレクション(Reflection)の手法は、いつ効果があり、いつ逆効果になるのか。最近の研究をもとに整理します。

    AIエージェントが最初の試行でいきなり正解を出すことは、思ったより多くありません。実務でエージェントを運用してみると、コードが1行動かなかったり、回答から条件がひとつ抜けていたりするのはよくあることです。そのため最近のエージェント設計では、結果を出したあとに何が間違っていたのかを自分で振り返る「リフレクション(Reflection)」の段階を別に設ける方式が定着しつつあります。

    Reflexion、重みではなく言葉で行動を直す

    最も広く引用されているのは、ノア・シン(Noah Shinn)らが2023年のNeurIPSで発表したReflexionです。この方式はモデルの重みを学習し直す代わりに、失敗の原因を自然言語でまとめた「振り返り」を作り、エピソード記憶として保存しておきます。次の試行ではこの振り返りをプロンプトに加え、同じ失敗を繰り返さないよう導きます。研究チームは、勾配の更新なしに言葉だけで行動を直すという意味で、これを「言語的強化学習(verbal reinforcement learning)」と呼びました。

    効果はベンチマークでも確かめられています。Reflexionを適用したエージェントは、コード生成のベンチマークHumanEvalでpass@1が91%となり、当時のGPT-4の80%を上回ったと報告されました。正解を事前に教えず、振り返りのループだけで当時の最高記録より正答率を11ポイント引き上げた点が特に注目されました。

    モデルHumanEval pass@1
    Reflexionを適用したエージェント91%
    GPT-4(当時)80%

    自己修正がかえって答えを悪くする場合

    ただし、振り返りがいつも性能を上げるわけではありません。ジエ・ホアン(Jie Huang)らが2023年に発表した「Large Language Models Cannot Self-Correct Reasoning Yet」は、外部からのフィードバックなしにモデルが自分の判断だけで答えを書き直す「内在的な自己修正(intrinsic self-correction)」では、性能が上がらないか、かえって下がる例を報告しました。正しい答えを自分で誤りと判断し、不正解に書き換えてしまうケースも観察されています。

    結果が分かれる理由は「振り返りの材料」

    2つの研究の結果が分かれるのは、振り返りの材料が違うからです。Reflexionは、コードが実際にテストを通ったか、タスクをやり遂げたかといった、外部の環境から来るはっきりした成功・失敗のシグナルを振り返りの根拠にしています。一方、ホアンらが指摘した失敗例は、そうした外部のシグナルがないまま、モデルが自分の答えを自分で採点し直す状況でした。採点の基準がモデルの内側にしかないと、振り返りは根拠のない自己不信に流れやすくなります。

    CRITIC、外部ツールで事実を確かめる

    この限界を補う方法として提案されたのがCRITIC(Tool-Interactive Critiquing)です。最初の回答を生成したあと、検索やコード実行環境のような外部ツールを呼び出して事実関係や実行結果を確かめ、その結果を根拠に答えを直す3段階の構造です。研究チームは複数のタスクで、モデル単独の判断では信頼できる自己批評が難しいことを改めて確認し、外部ツールとの連携が鍵だと強調しました。

    実務の観点でまとめると、振り返りのループを入れること自体より、その振り返りが何を根拠に行われるのかのほうが重要です。

    振り返りは外部で検証できるシグナルに結びつける

    テストの合否、検索結果、計算機の実行結果のように外部で確かめられるシグナルがあれば、振り返りは実際に品質を引き上げます。逆に、根拠を示さず「もう一度確認して」とだけ指示すると、正しい答えがかえって誤った答えに変わる逆効果が起こり得ます。コーディングエージェントに回答を出す前にテストスイートを走らせたり、リサーチエージェントに回答ごとの根拠文書のリンクを確認させたりするのも、同じ原理です。振り返りの対象を、モデルの感覚ではなく外部で検証できる結果に固定しておくわけです。

    テストタイムコンピュートとの関係

    この流れは、以前取り上げたテストタイムコンピュートともつながっています。事前学習を大きくする代わりに回答時に計算を多く使うという点で、振り返りのループもテスト時に投入する計算の一形態とみなせます。ただし、単に長く考えさせることと、検証できる外部シグナルを根拠に答えを直すことでは、品質が上がる仕組みそのものが違います。これが今回の研究から読み取れるポイントです。

    まとめ

    もちろん、振り返りの段階が増えるほど応答時間とコストも増えます。検索呼び出しやコード実行を毎ステップ挟めば遅延は目に見えて長くなり、APIの費用もその分たまっていきます。そのため、すべてのリクエストに振り返りのループをかけるより、失敗する確率が高い作業や、誤りのコストが大きい作業に絞って適用する方向へ重心が移っています。金融の計算、コードのデプロイ、法律・医療に関わる回答のように、間違えたときの影響が大きい領域です。振り返りのループの設計は、「どれだけ頻繁に振り返るか」ではなく「何を根拠に振り返るか」を先に決めることから始まります。