AI 인프라 이야기는 대체로 칩에서 시작해 칩에서 끝난다. 어느 가속기가 몇 테라플롭스인지, 메모리 대역폭이 얼마인지를 비교하는 식이다. 그런데 실제로 수천 장을 묶어 모델을 학습시켜 본 쪽에서 나오는 말은 조금 다르다. 병목은 대개 칩 안이 아니라 칩과 칩 사이에 있다는 것이다. 연산 유닛이 아무리 빨라도 옆 GPU의 결과를 기다리는 시간이 길면 전체는 그 속도에 맞춰진다. 인터커넥트, 즉 가속기를 잇는 배선과 스위치가 인프라 논의의 앞자리로 올라온 이유다.
분산 학습은 쉬지 않고 대화한다
대규모 모델 학습은 한 장에 다 올라가지 않아서 여러 GPU에 나눠 싣는다. 모델을 층 단위로 쪼개거나(파이프라인 병렬), 같은 층을 여러 장이 나눠 계산하거나(텐서 병렬), 데이터를 쪼개 각자 돌리고 결과를 합치는(데이터 병렬) 방식이 섞여 쓰인다. 어느 방식이든 공통점이 있다. 매 스텝마다 GPU들이 서로 중간 결과를 주고받아야 한다는 것이다.
특히 텐서 병렬은 한 층을 계산하는 도중에도 통신이 끼어든다. 이때 지연이 수 마이크로초만 늘어도 스텝마다 쌓여 학습 시간 전체를 밀어 올린다. 연산 자원이 통신을 기다리느라 노는 비율을 줄이는 것이 분산 학습 엔지니어링의 큰 부분이고, 그 싸움의 하드웨어 쪽 답이 인터커넥트다.
스케일업과 스케일아웃은 다른 문제다
이 분야 글을 읽을 때 가장 먼저 구분해야 할 말이 스케일업과 스케일아웃이다. 둘은 경쟁 관계가 아니라 층이 다르다.
- 스케일업(scale-up). 한 랙 또는 한 섀시 안의 가속기 수십 장을 하나의 큰 가속기처럼 묶는 영역이다. 메모리를 공유하듯 접근해야 하므로 지연이 극단적으로 낮아야 한다. NVLink와 NVSwitch, 그리고 UALink가 겨루는 자리다.
- 스케일아웃(scale-out). 그렇게 묶인 노드 수백, 수천 개를 다시 네트워크로 잇는 영역이다. 여기서는 지연만큼이나 규모와 운영 편의가 중요하고, InfiniBand와 이더넷이 경쟁한다.
NVLink는 한 랙을 한 대처럼 보이게 한다
엔비디아의 접근은 랙 하나를 통째로 거대한 가속기로 만드는 쪽이다. 엔비디아 공식 자료에 따르면 6세대 NVLink는 GPU 한 장당 3TB/s의 대역폭을 제공하고, NVLink 스위치는 Vera Rubin NVL72 구성에서 GPU 72장을 하나의 NVLink 도메인으로 묶어 총 216TB/s의 집계 대역폭을 낸다. 같은 자료는 이 대역폭이 PCIe 6세대의 12배에 해당한다고 설명한다.
숫자 자체보다 중요한 것은 이 구조가 만드는 효과다. 72장이 하나의 도메인에 들어오면 그 범위 안에서는 모델을 쪼개는 비용이 급격히 낮아진다. 랙 경계를 넘지 않는 한 통신은 거의 공짜에 가까워지고, 엔지니어는 랙 하나에 들어가도록 모델과 병렬화 전략을 맞추게 된다. 하드웨어 설계가 소프트웨어 설계를 끌고 가는 전형적인 사례다.
UALink, 표준으로 맞서는 쪽
문제는 이 영역이 오랫동안 사실상 단일 벤더의 것이었다는 점이다. 여기에 맞서려는 움직임이 UALink 컨소시엄이다. 가속기 대 가속기 통신을 위한 개방형 산업 표준을 내걸었고, AMD, 브로드컴, 시스코, 구글, HPE, 인텔, 메타, 마이크로소프트가 창립 멤버로 이름을 올렸다. 200G 1.0 사양이 공개됐고 보드에는 알리바바, 애플, 시놉시스가 합류했다.
구도는 익숙하다. 한쪽에는 수직 통합으로 완성도를 끌어올린 독자 규격이 있고, 다른 쪽에는 여러 회사가 모여 만든 표준이 있다. 표준 진영의 명분은 성능보다 선택권이다. 가속기를 바꿀 때 랙 전체를 함께 바꿔야 하는 상황을 피하려는 것이 하이퍼스케일러들의 동기로 보인다. 다만 사양이 나왔다고 바로 물건이 되는 것은 아니어서, 스위치 실리콘과 소프트웨어 스택이 실제로 돌아가기까지는 시간이 더 걸린다.
스케일아웃에서는 이더넷이 올라오는 중이다
노드와 노드를 잇는 바깥 영역은 오랫동안 InfiniBand가 지켜 온 자리다. 낮은 지연과 손실 없는 전송을 보장하는 설계 덕분이다. 다만 운영 인력과 장비 생태계가 이더넷 쪽에 훨씬 두텁다는 현실적인 이유로, 이더넷에 InfiniBand의 특성을 이식하려는 작업이 여러 해 진행돼 왔다. Ultra Ethernet 진영이 겨냥하는 지점이 그것이다.
결론부터 말하면, 지금 인프라를 고르는 입장에서 중요한 질문은 “어느 규격이 이기나”가 아니라 “내 워크로드가 랙 하나 안에서 끝나는가”다. 끝난다면 스케일업 품질이 전부를 좌우하고, 넘어간다면 스케일아웃 네트워크 설계와 운영 역량이 그만큼 중요해진다.
정리
인터커넥트는 눈에 잘 안 띄는 층이지만 대규모 학습에서는 칩 성능만큼 결과를 좌우한다. 랙 안을 묶는 스케일업에서는 NVLink가 앞서 있고 UALink가 표준으로 추격하는 구도이며, 랙 밖을 잇는 스케일아웃에서는 InfiniBand의 자리를 이더넷이 넘보는 중이다. 가속기 사양표를 비교하기 전에 그것들을 무엇으로 어떻게 묶을지부터 보는 편이, 실제 학습 속도를 예측하는 데 더 가깝다.