パラメータとは、モデルが学習の過程で調整する内部の重みの数のことです。「このモデルは700億パラメータ」のように表現され、数字が大きいほど複雑なパターンを表現できる潜在力が大きいとはいえます。ただし、パラメータが多ければ必ず性能が良いわけではありません。同じパラメータ数でも、どんなデータで、どう学習させたかによって、実際の性能には大きな差が出ます。最近は、やみくもにパラメータ数を増やすより、データの質と学習方法を磨いて、より少ないパラメータで同等以上の性能を出す方向へ研究が進んでいます。
パラメータ数はメモリと計算量に直結する
パラメータ数は、モデルを動かすのに必要なメモリと計算量に直結します。パラメータが多いほどGPUメモリが多く必要になり、推論の速度も落ちます。そのため、サービスを設計する側は、性能と運用コストのあいだで適切なパラメータ規模を選ばなければなりません。
Mixture of Experts(MoE)が狙う折衷案
「Mixture of Experts(MoE、混合エキスパート)」と呼ばれる構造は、このトレードオフを和らげる方法のひとつです。全体のパラメータは多くても、ひとつの回答を生成するときには一部の「エキスパート」だけが動くように設計し、大きなモデルの表現力と小さなモデルの効率を同時に狙う方式です。
パラメータ数を公開しないモデル
パラメータ数を公開しないモデルが増えている点も見逃せません。競合に設計情報を明かしたくないという目的と、ユーザーがパラメータ数だけで性能を単純に比べるのを避けたいという目的が、あわせて働いています。
パラメータ数はモデルの「体格」を示す指標にすぎず、「実力」を直接表す指標ではありません。
同じ体格でも、どう鍛えたかによって結果は大きく変わります。実務でも、同じパラメータ規模のモデルなのに、開発元によってベンチマークのスコアに大きな差が出る例はよく見かけます。
これは、学習データの質、学習期間、アライメント手法の完成度が、パラメータ数以上に性能を左右することを示しています。パラメータ数がそのままライセンス費用に結びつく場合もあります。オープンソースのモデルを選ぶときは、性能表と同じくらい、実際の運用環境で必要になるリソース量もあわせて確認することが、実務では大切です。
Chinchillaスケーリング則、規模に見合うデータが必要
モデルが大きくなるほど学習に必要なデータ量も増やさなければならない、という「Chinchillaスケーリング則」のような経験則も、パラメータの議論でよく引用されます。
パラメータだけを増やしてデータが足りなければ、その潜在力を出し切れないという考え方です。結局、パラメータ数はモデル選びで参考にする指標のひとつにすぎず、実際の業務に使う前には必ず自分でテストして判断すべきだ、というのが実務者に共通する助言です。パラメータ数を公開しないクローズドなモデルが増えたことで、外部からはベンチマークの性能だけを手がかりにモデルの規模を推し量らなければならない状況もよくあります。このため、パラメータ数そのものより、実際のタスクでの性能のほうが重要な比較基準になってきました。
量子化、パラメータ数はそのままでビット数を減らす
モデルの軽量化技術(量子化など)は、パラメータ数はそのままに、ひとつひとつのパラメータを表すビット数を減らして、メモリ使用量と計算量を抑える方式です。性能の低下を最小限にしつつ配備コストを下げる、実用的な折衷案として広く使われています。パラメータ数が同じでも、学習方法とデータによって実際の性能は大きく変わります。このため、パラメータ数だけで2つのモデルの優劣を決めつけるのは危ういという指摘が多くあります。業界はパラメータ数の競争から離れ、特定のタスクでの実質的な正確さとコスト効率を基準にモデルを比べる方向へ、少しずつ移っています。
まとめ
パラメータ数はモデルの潜在力を測るひとつの参考指標にすぎず、実際の業務に合うかどうかは使ってみて判断する領域です。モデルを選ぶときは、パラメータ数より、処理したい業務に近い条件でのベンチマーク結果を優先して参考にすることが、実務者のあいだで共通して勧められています。パラメータ数をめぐる議論は、これからもAIモデル選びの参考基準のひとつとして扱われていくでしょう。実際、最近のモデル比較はパラメータ数より、ベンチマークのスコアや特定タスクでの性能で行われることが増えています。
数字ひとつでモデルの優劣を決めていた時期から、実際の使い道を基準に評価する方向へと、重心が移りつつあります。