Bu metinden videoya yapay zeka Super Mario oyunu yapabiliyor

Nasıl çalışıyor?
Kritik sınırlamalar var
Yorumlar

Metin Akpınar

Teknoloji Editörü

Bu metinden videoya yapay zeka Super Mario oyunu yapabiliyor — Yapay zeka teknolojileri, sadece yazılı metinlerle oyun dünyalarını yeniden inşa edebilir mi? **Virtual Protocols** adlı şirketin geliştirdiği **MarioVGG** projesi, bu soruya olumlu bir yanıt veriyor. Şirketin araştırma projesi, klasik Nintendo oyunu **Super Mario Bros.**'u geleneksel oyun kodlaması yerine metin-video üretim teknolojisi kullanarak simüle etmeyi başardı.

Virtual Protocols’un araştırma makalesinde “Sadece tek bir tüketici sınıfı GPU (bir Nvidia RTX 4090) üzerinde eğitilen metinden videoya difüzyon modelimiz MarioVGG, tutarlı ve oyun mekaniklerini takip eden kontrol edilebilir oyun kareleri üretebiliyor” ifadelerini kullanıyor. Bu projede kullanılan yapay zeka modeli, oyuncudan gelen "koş" veya "zıpla" gibi basit metin komutlarına dayanarak Mario'nun hareketlerini simüle edebiliyor. Araştırma, Nintendo'nun 1985'te çıkardığı efsanevi Super Mario Bros. oyununu yeniden yaratmayı amaçlayan bu yapının, oyun geliştirmenin geleceğinde önemli bir yer tutabileceğine işaret ediyor.

Nasıl çalışıyor?

Bu teknoloji, bir oyun sahnesinin ilk karesini referans alarak Mario’nun yerçekimi dinamiklerine göre hareket etmesini sağlayabiliyor. Sonuçlar biraz gecikmeli ve kolay oynanabilir olmasa da makaleye göre, MarioVGG'nin çıkarım sırasında oyunun 6 karelik bir video dizisini oluşturması yaklaşık 4 saniye sürüyor. Ayrıca her bir kare 64x48 ya da 128x96 çözünürlükte üretilirken, dönemin gerçek Nintendo oyunları 256x224 çözünürlüğe sahip. Buna rağmen yapay zeka modeli, çeşitli mekanikler de dahil olmak üzere 2D Mario deneyimini gerçek 1985 oyunu gibi doğru bir şekilde simüle edebiliyor.

Kritik sınırlamalar var

Ayrıca modelin bir oyun sahnesinin ilk karesini referans alarak Mario’nun yerçekimi dinamiklerine göre hareket etmesini sağlayabildiği belirtiliyor. İyi şeylerin yanında bazı katı sınırlamalar da bulunuyor. Örneğin, model her zaman oyunun beklenen kurallarını tam olarak takip edemiyor. Seviyeler ve objeler prosedürel olarak oluşturuluyor ve bu da oyunun bazı kısımlarının kontrol edilemez olmasına yol açıyor. Ayrıca, Mario'nun öldüğü durumlarda yapay zeka oyunu geri sararak kontrol noktalarına döndürmüyor ve video kareleri üretmeye devam ediyor. Ayrıca tüm üretken yapay zeka difüzyon modellerinde olduğu gibi halüsinasyon da bir sorun. Videolar ilk başta etkileyici olsa da ne kadar çok izlerseniz hataları da o kadar sık görmeye başlıyorsunuz.

Yine de Virtual Protocols, MarioVGG'nin yalnızca nispeten küçük bir eğitim verisi örneği ve tüketici sınıfı bir GPU kullandığına işaret ederek, araştırmasının oyun geliştirme için üretken yapay zekanın gelecekteki potansiyeline bir bakış sunduğunu söylüyor.