AI学習では、数千～数万基のGPUを一つのタスクに投入する。ネットワークの遅延が増大したり、パケットの再送が発生したりすれば、高価なアクセラレーターが処理待ちに陥る可能性がある。
ブロードコム（Broadcom、NASDAQ：AVGO）のコア・スイッチング・グループ シニアバイスプレジデント兼ゼネラルマネージャー、アサド・カミシー（Asad Khamisy）氏は2日、「SEMICON Taiwan 2026」のマスターズ・フォーラムで、従来のクラウドネットワークの利用率が約60％であるのに対し、AIネットワークでは現在90％を超えていると指摘した。
高負荷の状態でも遅延やパケットロス、障害の影響を抑える必要があり、ネットワークアーキテクチャーをラック内の「Scale-up（スケールアップ）」から建屋内の「Scale-out（スケールアウト）」、さらに建屋間・キャンパス間の「Scale-across（スケールアクロス）」まで拡張する必要があるという。
カミシー氏によると、クラウドコンピューティングの主な役割は、異なる顧客やアプリケーションの仮想マシン間でCPUリソースを共有しながら、互いを隔離することにある。一方、AI学習ではモデルを単一のGPUに収めることができないため、モデルを分割して数十～数千基のGPUに配置し、すべてのアクセラレーターが同一のタスクを共同で処理する必要がある。
そのため、ネットワークは単にデータを伝送する外部設備ではなく、GPU利用率や出力トークン1個当たりの所要時間を直接左右する演算システムの一要素となる。
576基GPUのシミュレーション、ネットワーク遅延が並列演算の効果を相殺
ブロードコムは、4000億パラメーターのFP16モデルを576基のGPUに分散させたシミュレーションを用いて説明した。テンソル並列度を高めるほど、GPU1基当たりが担う演算量とHBMへのアクセス時間は減少する。一方、演算に参加するGPUの数が増えるほど、GPU同士の通信によるネットワーク遅延は増大する。
ネットワークの階層が増え、遅延が大きくなると、GPUを追加することで得られる効果が通信時間によって相殺される。ネットワーク遅延を低減することで、初めて有効に利用できるGPUの数をさらに増やすことができるという。
カミシー氏は、AIネットワークには低遅延だけでなく、拡張性、耐障害性、低パケットロスも求められると指摘した。
「クラウドでは、顧客のネットワーク利用率はおよそ60％だ。AI環境では現在、すでに90％を超えている」と同氏は述べた。
ネットワーク利用率が上限に近づくほど、輻輳や再送の影響も増幅しやすくなる。このため、トラフィックエンジニアリング、輻輳制御、障害復旧の重要性も高まるという。 （関連記事： 【SEMICON Taiwan 2026】Micron「今後数年もメモリーは深刻な供給不足」 HBM・DDR・SSD需要が同時拡大 ｜ 関連記事をもっと読む ）
3層のネットワーク、単一ラックからキャンパス間まで拡張
ブロードコムはAIネットワークを3つの階層に分けている。
