Bu yapay zeka süper bilgisayarında yemek tabağı boyutunda işlemci var!
Cerebras Systems, Wafer Scale Engine 2 adındaki dünyanın en büyük yapay zeka çipini temel alan ve toplamda 13,5 milyon çekirdekten oluşan Andromeda süper bilgisayarını tanıttı.
Bu hafta içerisinde Cerebras Systems derin öğrenme için 13,5 milyon çekirdekli Andromeda yapay zeka süper bilgisayarını tanıttı. Cerebras'a göre Andromeda, 16 bit yarı hassasiyette birden fazla 1 exaflop (saniyede 1 kentilyon işlem) yapay zeka hesaplama gücü sağlıyor.
Andromeda süper bilgisayarı esasında birbirine bağlanmış 16 adet Cerebras C-2 kümesiyle inşa edilmiş durumda. Her CS-2 bünyesinde 8,5 inç boyutunda ve 850.000 çekirdeğe sahip 2.6 trilyon transistör içeren Wafer Scale Engine çipini (WSE 2) içeriyor.
Tabak boyutunda işlemci
Cerebras, Andromeda'yı California, Santa Clara'daki bir veri merkezinde 35 milyon dolara inşa etmiş durumda. Büyük dil modellerinin eğitimi ve karmaşık yapay zeka temelli akademik ve ticari işlemciler için bu sistem kullanılacak. Cerebras basın açıklamasında "Andromeda, GPT-3, GPT-J ve GPT-NeoX dahil olmak üzere GPT sınıfı büyük dil modellerinde basit veri paralelliği yoluyla mükemmele yakın ölçeklendirme sağlıyor" diye belirtiyor.Cerebras'a göre "Mükemmele yakın ölçeklendirme" ifadesi, Cerebras Andromeda'ya daha fazla CS-2 bilgisayar birimi ekledikçe, sinir ağlarındaki eğitim süresinin "mükemmele yakın oranda" azaldığı anlamına geliyor. Tipik olarak, GPU tabanlı sistemleri temel alan sistemlerde birim sayısı artıkça getirinin de azaldığı görülmekte. Ancak Cerebras, süper bilgisayarının GPU tabanlı sistemlerin yapamadığı görevleri gerçekleştirebileceğini iddia ediyor. Örnek vermek gerekirse, Andromeda'nın, GPT-J'de 2,5 milyar ve 25 milyar parametrede, uzun dizi boyutlarında mükemmele yakın ölçekleme elde edebildi. Ancak aynı işi, 2.000 Nvidia A100 bulunan GPU tabanlı bir sistem “yetersiz bant genişliği” nedeniyle gerçekleştiremedi.
Andromeda'nın diğer süper bilgisayarlara karşı durumu nasıl? Şu anda dünyanın en hızlısı olan Frontier, Oak Ridge Ulusal Laboratuarlarında bulunuyor ve 64 bitlik çift hassasiyette 1.103 exaflop hızında performans gösterebiliyor. Bu bilgisayarın yapımı 600 milyon dolara mal oldu.
{{body}}
{{/longBody}} {{^longBody}}{{body}}
{{/longBody}}