高効率モデルアーキテクチャ
より少ない計算資源で、より賢くなるための工夫
全8本の記事
投機的デコーディング
小さなモデルが先に書いて大きなモデルが確認する推論の高速化
小さなモデルが次の数トークンを先に書いておき、大きなモデルがまとめて確認して承認する。答えを変えずに生成速度を2〜3倍に引き上げる投機的デコーディングの仕組みと限界を整理しました。
MoE
巨大なモデルの一部だけを動かして使う設計
総パラメータとアクティブパラメータがなぜ別の数字になるのか、ルーターがトークンごとにエキスパートをどう選ぶのかを整理します。パラメータの記事で軽く触れたMixture of Experts(MoE)の構造を、実際のモデルを例に最後まで追います。
マルチモーダル
テキスト・画像・音声をひとつのモデルがまとめて理解する
文字だけを読んでいたAIが、画像、音声、動画までひとつのモデルの中でまとめて処理するのが当たり前になりつつあります。
コンテキストウィンドウ
AIが一度に覚えておける範囲
モデルが1回の会話で参照できる情報量、コンテキストウィンドウが広がり続け、使い方も変わってきています。
知識蒸留
大きなモデルの能力を小さなモデルに移し替える
高価な超大型モデルの判断力を、はるかに安く動かせる小さなモデルに凝縮して学習させる手法です。仕組みと注意点、運用コストを下げる使い方をまとめます。
MCP
AIと外部ツールをつなぐ共通標準に
Anthropicが2024年に公開したMCP(Model Context Protocol)は、OpenAI、Google、Microsoftも採用する事実上の業界標準になりました。普及の規模とセキュリティ、運用で気をつけたい点をまとめます。
RAG 2.0
社内文書を正確に引用するAIへ
ハルシネーションを減らし最新の情報を反映するため、外部の文書を検索して回答の根拠にするRAG(検索拡張生成)が一段と精緻になっています。リランキングやクエリ書き換えなど、精度を左右する仕組みをまとめます。
小規模言語モデル(SLM)
小さいからこそ役に立つAI
すべての問題を超大型モデルで解く必要はありません。特定の業務に最適化した軽量モデルが、コストと速度の面で注目されています。向いている業務と選び方の基準をまとめます。
選んだ職種に当てはまる記事はありません。