AI Trend Note
    ← ホームへ

    AI開発と計算資源

    AIを作り、扱う人のための基礎となる考え方

    全8本の記事

    モデルを取り囲むルール、ツール、検証の仕組みを表現したイラスト

    ハーネスエンジニアリング

    モデルの外側を設計するAI開発の新しい技術

    コーディングエージェントの性能は、モデルだけでなくその周りの環境で決まります。ルールファイル、フック、評価ツールでハーネスを作る方法と、使えるツールを整理しました。

    8分で読めます
    真鍮の印刷機を回るうちに灰色にくすんでいく紙の帯と、原本の巻物を収めた金庫を経て色が残る紙の帯を対比させ、合成データでの学習を表現したイラスト

    合成データ

    モデルが作ったデータで次のモデルを学習させると起きること

    人間が書いた公開テキストが底をつきはじめ、モデルが生成したデータが学習工程の柱のひとつになりました。どこで効果が確認され、なぜ元のデータを捨てるとモデルが崩壊するのかを整理します。

    7分で読めます
    トークン、AIが文章を読み書きするいちばん小さな単位

    トークン

    AIが文章を読み書きするいちばん小さな単位

    AIは人が目にする「文字」ではなく、トークンという断片に文章を分けて理解し、生成します。トークンがAPI料金やコンテキストウィンドウにどう関わるのか、業務で役立つ考え方とあわせて整理します。

    4分で読めます
    パラメータ、モデルの大きさを表す数字が意味するもの

    パラメータ

    モデルの大きさを表す数字が意味するもの

    「数十億パラメータのモデル」という言い方はよく見かけますが、この数字が正確に何を表すのかはあまり知られていません。パラメータ数とメモリ、MoE、量子化の関係から、モデル選びでの見方を整理します。

    4分で読めます
    RLHF、人間の好みに合わせてAIを仕上げる学習手法

    RLHF

    人間の好みに合わせてAIを仕上げる学習手法

    正解がひとつに決まらない問題で、人間の好みを学習の信号として使いAIを調整する手法です。RLHFの3つの段階と限界、DPOやRLAIFとの違いを整理します。

    5分で読めます
    プロンプトエンジニアリング、同じモデルでも聞き方しだいで結果が変わる

    プロンプトエンジニアリング

    同じモデルでも聞き方しだいで結果が変わる

    モデルを変えなくても、指示文の組み立て方で出力の品質は大きく変わります。いまも通用する基本の手法と、プロンプトを実験・管理する実務のやり方をまとめます。

    5分で読めます
    事前学習、あらゆるAIの能力が生まれる出発点

    事前学習

    あらゆるAIの能力が生まれる出発点

    インターネット規模の膨大なデータをまとめて学習させ、基盤モデルの骨格をつくる段階です。開発の工程でもっとも費用がかかる事前学習の仕組みと、いま議論されている論点を整理します。

    4分で読めます
    ファインチューニング、汎用モデルを自社専用に仕立てる方法

    ファインチューニング

    汎用モデルを自社専用に仕立てる方法

    すでに学習済みの基盤モデルに自社のデータを追加で学習させ、特定の業務に合わせて調整するプロセスです。

    5分で読めます