AI Trend Note
    ← ホームへ

    高効率モデルアーキテクチャ

    より少ない計算資源で、より賢くなるための工夫

    全8本の記事

    小さな機械が先に打ち出した部品を、大きな機械がまとめて検査して通す様子を描いたイラスト

    投機的デコーディング

    小さなモデルが先に書いて大きなモデルが確認する推論の高速化

    小さなモデルが次の数トークンを先に書いておき、大きなモデルがまとめて確認して承認する。答えを変えずに生成速度を2〜3倍に引き上げる投機的デコーディングの仕組みと限界を整理しました。

    7分で読めます
    いくつものエキスパートのモジュールのうち一部だけに明かりがともる様子で、Mixture of Expertsの構造を表現したイラスト

    MoE

    巨大なモデルの一部だけを動かして使う設計

    総パラメータとアクティブパラメータがなぜ別の数字になるのか、ルーターがトークンごとにエキスパートをどう選ぶのかを整理します。パラメータの記事で軽く触れたMixture of Experts(MoE)の構造を、実際のモデルを例に最後まで追います。

    6分で読めます
    マルチモーダル、テキスト・画像・音声をひとつのモデルがまとめて理解する

    マルチモーダル

    テキスト・画像・音声をひとつのモデルがまとめて理解する

    文字だけを読んでいたAIが、画像、音声、動画までひとつのモデルの中でまとめて処理するのが当たり前になりつつあります。

    5分で読めます
    コンテキストウィンドウ、AIが一度に覚えておける範囲

    コンテキストウィンドウ

    AIが一度に覚えておける範囲

    モデルが1回の会話で参照できる情報量、コンテキストウィンドウが広がり続け、使い方も変わってきています。

    4分で読めます
    知識蒸留、大きなモデルの能力を小さなモデルに移し替える

    知識蒸留

    大きなモデルの能力を小さなモデルに移し替える

    高価な超大型モデルの判断力を、はるかに安く動かせる小さなモデルに凝縮して学習させる手法です。仕組みと注意点、運用コストを下げる使い方をまとめます。

    4分で読めます
    MCP、AIと外部ツールをつなぐ共通標準に

    MCP

    AIと外部ツールをつなぐ共通標準に

    Anthropicが2024年に公開したMCP(Model Context Protocol)は、OpenAI、Google、Microsoftも採用する事実上の業界標準になりました。普及の規模とセキュリティ、運用で気をつけたい点をまとめます。

    5分で読めます
    RAG 2.0、社内文書を正確に引用するAIへ

    RAG 2.0

    社内文書を正確に引用するAIへ

    ハルシネーションを減らし最新の情報を反映するため、外部の文書を検索して回答の根拠にするRAG(検索拡張生成)が一段と精緻になっています。リランキングやクエリ書き換えなど、精度を左右する仕組みをまとめます。

    5分で読めます
    小規模言語モデル(SLM)、小さいからこそ役に立つAI

    小規模言語モデル(SLM)

    小さいからこそ役に立つAI

    すべての問題を超大型モデルで解く必要はありません。特定の業務に最適化した軽量モデルが、コストと速度の面で注目されています。向いている業務と選び方の基準をまとめます。

    5分で読めます