テストタイムコンピュート(Test-Time Compute)は、モデルをより大きく学習させる代わりに、実際に答えを生成する推論(inference)の段階で計算量を増やして性能を高める方式です。複数の回答候補を生成して比べたり、途中の思考を長く伸ばして自分で見直させたりする形で実装されます。このアプローチが注目される理由は、事前学習にかかるコストが指数関数的に膨らむ一方で、推論時に計算を足すほうは比較的柔軟に調整できるからです。
簡単なら少なく、難しければ多く考える動的な調整
問題が簡単なら少なく、難しければ多く考えさせるといった動的な調整もできます。英国のAIセキュリティ研究所(AISI、2025年2月にAI安全研究所から改称)は最近の分析で、限られた計算条件で評価すると、モデルの実際の能力を過小評価してしまうおそれがあると指摘しました。同じモデルでも、回答の生成にどれだけの計算を許すかによって、ベンチマークのスコアそのものが変わります。
モデルの規模と推論時の計算、一緒に設計すべき2つの軸
その結果、「どれだけ大きなモデルを作るか」と「答えるときにどれだけ考えさせるか」という2つの軸をあわせて設計することが、最近のモデル開発の中心的な課題になりました。
2つの軸は、互いに置き換えのきく資源のように扱われ始めています。
階層型の料金プラン、そして考えるほど正確になるのか
実務では、この考え方が料金プランの設計にもつながっています。基本の応答は安く、深い推論が必要なリクエストは使った計算の分だけ高く課金する階層型の構造が、多くのサービスで定着しつつあります。ただしユーザーの側には、「長く考えれば必ず正確になるのか」という疑問も残ります。
ステップを踏みすぎると、かえって自分で出した途中の結論に縛られて方向を見失うケースも報告されており、際限なく増やせばよいというものではありません。
Self-Consistency、複数の回答候補を比べる方式
たとえば同じ質問でも、回答候補を5つ生成して互いに比べ、最も一貫した答えを選ぶ方式(Self-Consistency)は、一度だけ答えさせるよりはるかに安定した結果を出すことが、複数のベンチマークで確認されています。この考え方は、前回取り上げた推論モデルと実質的に同じ根を持っています。推論モデルが「どう考えさせるか」の問題だとすれば、テストタイムコンピュートはその思考に「どれだけの計算を割り当てるか」を決める、より広い枠組みだといえます。
推論時のスケジューリングと「第2のスケーリング則」
この考え方が商用化されるにつれ、新しいタイプの最適化問題も生まれました。決められた予算(時間、コスト)の中で、どう計算を配分すれば最も良い答えが得られるかを決める「推論時のスケジューリング」です。一部の研究者はこの流れを「第2のスケーリング則」と呼んでいます。第1がモデルの規模と学習データを大きくすることだったとすれば、第2は推論時の計算を大きくすることで、今後数年のAIの性能向上を支える中心的な軸になると見込まれています。
柔軟なインフラと「じっくり考える」ボタン
このアプローチは、ハードウェアの活用戦略も変えています。以前は学習に必要な分だけGPUを確保すればよかったのですが、いまはサービスの運用中にもリクエストごとに計算量を柔軟に増やせるインフラが求められます。一般のユーザーが実感できる変化は、「遅いけれど、より正確な回答」という選択肢の登場です。一部のサービスでは、ユーザーが自分で「じっくり考える」ボタンを押し、いつもより時間がかかっても、より検証された答えを受け取れるようになっています。
効果が大きい領域と小さい領域、思考の強さに応じた課金
テストタイムコンピュートの効果が特に大きく出るのは、数学やコーディングのように答えを検証しやすい領域です。反対に、正解がはっきりしない創作や意見を述べる領域では、得られるものが比較的少ないという研究結果もあります。この流れはAIサービスの料金体系にも影響しています。深く考えた回答ほど多くの計算資源を使うため、回答の「思考の強さ」に応じて料金を変えるモデルが増えています。この流れが示しているのは、AIの性能向上がモデルそのものの改良だけでなく、「どれだけうまく使いこなすか」の問題にも広がっているという点です。
同じモデルでも、使い方の戦略しだいで成果物の質が大きく変わります。韓国のIT企業も、この考え方を自社サービスに取り入れ、ユーザーが必要に応じて「すばやい回答」と「精密な分析」を選べるオプションを提供し始めました。
まとめ
テストタイムコンピュートは、学習という一度きりの投資と、推論という毎回の投資のあいだで、どこに資源を使うかを選ぶ新しい選択肢を開いたといえます。このバランスをどこに置くかが、今後のモデル設計の大きな部分を占めることになりそうです。