Nvidia'nın yayınladığı verilere göre, Blackwell tabanlı B200 GPU, bir sunucu doğrulama testinde tek bir GPU ile saniyede 10.755 token, çevrimdışı bir referans testinde ise saniyede 11.264 token işlem kapasitesine sahip. Mevcut MLPerf Llama 2 70B kıyaslama sonuçlarına baktığımızda, dört adet Hopper H100 tabanlı bir makinenin benzer sonuçlar elde ettiği görülüyor. Bu da Nvidia'nın, tek bir Blackwell işlemcisinin tek bir Hopper H100 GPU'ya kıyasla yaklaşık 3.7-4 kat daha hızlı olduğunu ortaya koyuyor.
4 katlık hız farkı biraz aldatıcı
İkinci olarak ise Nvidia’nın aslında elma ile armudu kıyaslaması. Firma, tek bir B200 ile dört adet H100’ü kıyaslıyor, bu biraz yanıltıcı. Zira genellikle GPU başına performansı ölçmek için GPU’lar tekil olarak kıyaslanır çünkü, ölçekleme çoğu zaman mükemmel değildir. Bu, CrossFire veya SLI yapıldığında iki ekran kartının performansının tek ekran kartına kıyasla 2X olmaması gibi.
MLPerf 4.1'de tekil halde H100 GPU sonucu bulunmamakta ancak H200 için bulunuyor. Tek bir H200, saniyede 4.488 token işlem kapasitesine ulaşabiliyor, bu da B200'ün 2.5 kat daha hızlı olduğu anlamına geliyor. Bellek kapasitesi ve bant genişliği de önemli. Test edilen B200 GPU, 180 GB HBM3E belleği taşırken, H100 SXM 80 GB HBM (bazı konfigürasyonlarda 96 GB'a kadar) ve H200 96 GB HBM3 ile 144 GB'a kadar HBM3E sunmakta. Dolayısıyla "4 kata kadar" ifadesi, sayı formatı, GPU sayısı ve bellek kapasitesi gibi potansiyel farklılıklardan kaynaklanıyor.
Haberi DH'de Gör
{{body}}
{{/longBody}} {{^longBody}}{{body}}
{{/longBody}}