AI開発と計算資源
AIを作り、扱う人のための基礎となる考え方
全8本の記事
ハーネスエンジニアリング
モデルの外側を設計するAI開発の新しい技術
コーディングエージェントの性能は、モデルだけでなくその周りの環境で決まります。ルールファイル、フック、評価ツールでハーネスを作る方法と、使えるツールを整理しました。
合成データ
モデルが作ったデータで次のモデルを学習させると起きること
人間が書いた公開テキストが底をつきはじめ、モデルが生成したデータが学習工程の柱のひとつになりました。どこで効果が確認され、なぜ元のデータを捨てるとモデルが崩壊するのかを整理します。
トークン
AIが文章を読み書きするいちばん小さな単位
AIは人が目にする「文字」ではなく、トークンという断片に文章を分けて理解し、生成します。トークンがAPI料金やコンテキストウィンドウにどう関わるのか、業務で役立つ考え方とあわせて整理します。
パラメータ
モデルの大きさを表す数字が意味するもの
「数十億パラメータのモデル」という言い方はよく見かけますが、この数字が正確に何を表すのかはあまり知られていません。パラメータ数とメモリ、MoE、量子化の関係から、モデル選びでの見方を整理します。
RLHF
人間の好みに合わせてAIを仕上げる学習手法
正解がひとつに決まらない問題で、人間の好みを学習の信号として使いAIを調整する手法です。RLHFの3つの段階と限界、DPOやRLAIFとの違いを整理します。
プロンプトエンジニアリング
同じモデルでも聞き方しだいで結果が変わる
モデルを変えなくても、指示文の組み立て方で出力の品質は大きく変わります。いまも通用する基本の手法と、プロンプトを実験・管理する実務のやり方をまとめます。
事前学習
あらゆるAIの能力が生まれる出発点
インターネット規模の膨大なデータをまとめて学習させ、基盤モデルの骨格をつくる段階です。開発の工程でもっとも費用がかかる事前学習の仕組みと、いま議論されている論点を整理します。
ファインチューニング
汎用モデルを自社専用に仕立てる方法
すでに学習済みの基盤モデルに自社のデータを追加で学習させ、特定の業務に合わせて調整するプロセスです。
選んだ職種に当てはまる記事はありません。