AI Trend Note
    ← 一覧へ戻る
    複数のGPUを高速な配線で結んだインターコネクトの構造を表現したイラスト
    ハードウェアとインフラ 用語解説 6分で読めます

    インターコネクト、GPUをつなぐ配線が性能を決める

    大規模な学習の速さを左右するのは、GPU1枚の性能よりも、それらをどうつなぐかです。スケールアップとスケールアウトの違いと、NVLinkとUALinkが競い合うポイントを整理します。

    AIインフラの話は、たいていチップに始まりチップに終わります。どのアクセラレーターが何テラFLOPSか、メモリ帯域幅はどれくらいかを比べる、という具合です。ところが、実際に数千枚を束ねてモデルを学習させてきた現場からは、少し違う声が聞こえてきます。ボトルネックはたいていチップの中ではなく、チップとチップの間にあるというものです。演算ユニットがどれほど速くても、隣のGPUの結果を待つ時間が長ければ、全体はその速度に合わせることになります。インターコネクト、つまりアクセラレーター同士をつなぐ配線とスイッチが、インフラの議論で前面に出てきたのはこのためです。

    分散学習は休みなく通信している

    大規模モデルは1枚のGPUに収まらないため、複数のGPUに分けて載せて学習します。モデルを層ごとに分ける(パイプライン並列)、同じ層を複数枚で分担して計算する(テンソル並列)、データを分けてそれぞれで回し結果を合わせる(データ並列)といった方式が組み合わせて使われます。どの方式にも共通点があります。ステップごとに、GPU同士が途中の結果をやり取りしなければならないことです。

    とくにテンソル並列では、1つの層を計算している途中にも通信が入ります。このとき遅延が数マイクロ秒増えるだけでも、ステップごとに積み重なって学習時間全体を押し上げます。演算資源が通信待ちで遊んでいる割合をどう減らすかが分散学習エンジニアリングの大きな部分を占めており、その戦いに対するハードウェア側の答えがインターコネクトです。

    スケールアップとスケールアウトは別の問題

    この分野の記事を読むときに、まず区別しておきたいのがスケールアップとスケールアウトです。両者は競合関係ではなく、扱う層が違います。

    • スケールアップ(scale-up)。 1つのラック、あるいは1つのシャーシの中にある数十枚のアクセラレーターを、ひとつの大きなアクセラレーターのように束ねる領域です。メモリを共有するようにアクセスするため、遅延を極端に低く抑える必要があります。NVLinkとNVSwitch、そしてUALinkが競い合う場所です。
    • スケールアウト(scale-out)。 そうして束ねたノード数百、数千台を、さらにネットワークでつなぐ領域です。ここでは遅延と同じくらい規模と運用のしやすさが重要になり、InfiniBandとイーサネットが競合しています。
    データセンターに設置されたInfiniBandスイッチと、そこにぎっしり挿さったケーブル
    InfiniBandスイッチとケーブル。スケールアウトの領域でノード同士をつなぐ典型的な配線の様子。画像:ChrisDag, Wikimedia Commons、CC BY 2.0.

    NVLinkは1つのラックを1台のように見せる

    NVIDIAのアプローチは、ラック1つを丸ごと巨大なアクセラレーターにするというものです。NVIDIAの公式資料によると、第6世代NVLinkはGPU1枚あたり3TB/sの帯域幅を提供し、NVLinkスイッチはVera Rubin NVL72の構成でGPU72枚をひとつのNVLinkドメインにまとめ、合計216TB/sの集約帯域幅を実現します。同じ資料は、この帯域幅がPCIe第6世代の12倍にあたると説明しています。

    数字そのものより重要なのは、この構造が生む効果です。72枚がひとつのドメインに収まれば、その範囲内ではモデルを分割するコストが一気に下がります。ラックの境界を越えないかぎり通信はほぼタダに近くなり、エンジニアはモデルと並列化の戦略をラック1つに収まるように合わせるようになります。ハードウェアの設計がソフトウェアの設計を引っ張る典型的な例です。

    UALink、標準規格で対抗する陣営

    問題は、この領域が長い間、事実上ひとつのベンダーのものだったことです。これに対抗しようとする動きがUALinkコンソーシアムです。アクセラレーター間通信のためのオープンな業界標準を掲げ、AMD、Broadcom、Cisco、Google、HPE、Intel、Meta、Microsoftが創設メンバーに名を連ねました。200G 1.0仕様が公開され、理事会にはAlibaba、Apple、Synopsysが加わっています。

    構図はおなじみのものです。一方には垂直統合で完成度を高めた独自規格があり、もう一方には複数の企業が集まって作った標準規格があります。標準規格の陣営が掲げる大義は、性能よりも選択肢です。アクセラレーターを替えるときにラック全体まで替えなければならない状況を避けたい、というのがハイパースケーラーの動機とみられます。ただし、仕様が出たからといってすぐに製品になるわけではありません。スイッチのシリコンやソフトウェアスタックが実際に動くようになるまでには、まだ時間がかかります。

    スケールアウトではイーサネットが台頭している

    ノードとノードをつなぐ外側の領域は、長くInfiniBandが守ってきた場所です。低遅延でロスのない転送を保証する設計のおかげです。ただ、運用人材も機器のエコシステムもイーサネットのほうがはるかに厚いという現実的な理由から、イーサネットにInfiniBandの特性を移植しようとする取り組みが何年も続いてきました。Ultra Ethernet陣営が狙っているのがまさにそこです。

    結論からいえば、いまインフラを選ぶ立場で大事な問いは「どの規格が勝つか」ではなく、「自分のワークロードはラック1つの中で完結するか」です。完結するならスケールアップの品質がすべてを左右し、ラックを越えるならスケールアウトのネットワーク設計と運用力がそのぶん重要になります。

    まとめ

    インターコネクトは目立たない層ですが、大規模な学習ではチップの性能と同じくらい結果を左右します。ラック内を束ねるスケールアップではNVLinkが先行し、UALinkが標準規格として追いかける構図です。ラックの外をつなぐスケールアウトでは、InfiniBandの座をイーサネットが狙っています。アクセラレーターの仕様表を比べる前に、それらを何でどう束ねるかを見るほうが、実際の学習速度を予測するうえでは近道です。