事前学習は、ウェブ上の文書や書籍、コードといった膨大なテキストをモデルに学習させ、言語のパターンと世の中についての一般的な知識を身につけさせる段階です。その後のファインチューニングやアライメントは、すべてこの段階でできあがった基礎能力の上で行われます。そのため、モデル性能の土台を決めるもっとも重要な工程とされています。同時に、開発全体でもっとも多くの計算と費用がかかる段階でもあります。数千基のGPUを数か月動かし続ける規模の投資が必要なため、事前学習をゼロから行える組織は一部の大企業に限られます。
量より質、データキュレーションと著作権リスク
こうした事情から、最近は事前学習データの量よりも、質をより細かく選ぶ方向へ戦略が移っています。重複した文書を取り除き、質の低いウェブテキストより書籍や学術資料の比率を高めるといったデータキュレーションが、モデル性能に大きく影響することが複数の研究で確かめられています。データの著作権も、事前学習の段階でもっとも鋭く対立する論点です。どのデータを学習に使ってよいかという法的な基準は地域ごとに異なる形で整理が進んでおり、事前学習データの構成そのものが法的リスク管理の対象になりつつあります。
テストタイムコンピュートと、アライメント段階との役割分担
テストタイムコンピュート(推論時に計算量を増やして性能を高める考え方)が注目されるようになり、事前学習だけに投資を集中させる戦略も変わってきました。学習ではなく推論の段階にも投資を振り分けるなど、資源配分の軸そのものが多様になっています。事前学習のあとは、たいていRLHFのようなアライメントの工程を経て、実際のサービスで使える形に仕上げられます。事前学習が「幅広い知識」をつくるとすれば、その後の段階はその知識を「役に立ち、安全に」使えるよう整える役割を担います。
合成データ、炭素コスト、費用を分け合うコンソーシアム
事前学習データのかなりの部分が、ほかのAIモデルが生成したテキストで占められる可能性も議論されています。
こうした合成データの比率が大きくなりすぎると、かえってモデルの多様性が失われる副作用も懸念されています。事前学習にかかる膨大な電力と炭素排出量も、最近よく取り上げられる論点です。ひとつのモデルをゼロから学習させる環境コストを、その後に再利用される回数とあわせて評価すべきだという声もあります。事前学習の費用を分担するためのコンソーシアム型の協業も現れています。複数の企業や研究機関が資源を持ち寄り、ひとつの基盤モデルを共同でつくって共有する方式です。
言語の偏り、著作権をめぐる係争、データフィルタリング
事前学習データに特定の言語や文化圏の資料が少ないと、その言語を使うユーザーにとっては相対的に品質の低いモデルになりかねません。これも重要な論点のひとつです。学習データの著作権は、いまも法廷での争いが続く大きな争点です。制作者の同意なしに集めたコンテンツでモデルを学習させることが正当かどうか、判断はまだはっきり定まっていません。事前学習の段階で有害なデータや偏ったデータをあらかじめ取り除くデータフィルタリングの技術も、あわせて進歩しています。
学習が終わってから後で修正するより、はじめから良いデータで学習させるほうが根本的な解決策だという認識が広がっています。
継続学習と、情報の鮮度を補うRAG
事前学習にかかる電力と費用が増え続けるなか、ゼロから学習し直すのではなく既存のモデルに追加で学習させる「継続学習」への関心も高まっています。学習データの鮮度という問題もあります。モデルは学習を終えた時点より後の出来事や情報を知りません。これを補うために、RAGのような補助技術が組み合わせて使われています。
エコシステムを支える基礎工事
事前学習はいまも膨大な資源を必要とする領域ですが、その成果物の上でファインチューニング、蒸留、RAGといった多様な手法が派生しています。その意味で、AIのエコシステム全体を支える基礎工事のような存在です。事前学習に必要な大規模な計算資源を自前で確保するのが難しい企業は、すでに公開されている基盤モデルを活用する方向へ戦略を調整しています。事前学習の技術は、これからもAIの発展を支える根幹として重要な役割を果たしていくとみられます。
まとめ
事前学習は、モデルという建物の基礎工事にあたります。後の段階でどれだけ手を入れても、基礎そのものが弱ければ限界ははっきり出ます。この段階に投じるデータと計算の質が、結局はモデル全体の上限を決めます。