Microsoft’un yeni yapay zeka ajanı robotları kontrol edebiliyor
Microsoft Research, yazılım arayüzlerini ve robotik sistemleri kontrol etmek için görsel ve dil işlemeyi birleştiren entegre bir yapay zeka modeli olan Magma'yı tanıttı.
Tam Boyutta GörMicrosoft, yazılım arayüzlerini ve robotik sistemleri kontrol edebilen entegre bir yapay zeka olan "Magma"yı tanıttı. Sonuçlar Microsoft'un dahili testlerinin dışında da geçerli olursa, hem gerçek hem de dijital alanlarda etkileşimli olarak çalışabilen çok amaçlı çok modlu bir yapay zeka modeline doğru önemli bir adım atılmış olacak.
Microsoft, Magma'nın yalnızca metin, görüntü ve video gibi çok modlu verileri işlemekle kalmayıp, aynı zamanda bu veriler üzerine doğrudan işlem yapabilen ilk yapay zeka modeli olduğunu belirtiyor. Bu işlem, kullanıcı arayüzlerinde gezinmekten fiziksel nesneleri manipüle etmeye kadar geniş bir yelpazeye yayılabiliyor.
Yapay zeka ve robotik dünyasında yeni bir yaklaşım
Tam Boyutta GörBirçok yapay zeka projesi, görsel-veri işleme ile dil işleme yeteneklerini birleştiren model teknolojilerini kullanıyor, ancak Magma bu iki yeteneği tek bir temel modelde entegre ediyor. Bu durum Magma'yı önceki çok modlu yapay zeka sistemlerinden ayırıyor. Microsoft'un araştırmalarına göre Magma, kullanıcıların yalnızca görsel ve dilsel verilerle etkileşime girmesini sağlamakla kalmayıp aynı zamanda o veriler üzerinden planlar oluşturup aksiyon alabiliyor. Yani, bir görev verildiğinde Magma bu hedefe ulaşmak için planlar oluşturabiliyor ve eylemler gerçekleştirebiliyor.Tam Boyutta GörGörüntü, video, robot verisi ve kullanıcı arayüzü etkileşimleriyle eğitilen Magma, bu yeni yaklaşımla görsel dil modellerinin (VLM, örneğin GPT-4V gibi) çok ötesine geçiyor. Bu gelişmiş yetenek, Magma'nın yalnızca algılayıcı değil, aynı zamanda eyleme geçebilen gerçek bir çok modlu ajan olmasını sağlıyor.Tam Boyutta GörMicrosoft, Magma-8B modelinin, kullanıcı arayüzü gezintisi ve robot manipülasyonu gibi görevlerde güçlü sonuçlar sergilediğini belirtiyor. VQAv2 görsel soru-cevap testinde 80.0 puanla GPT-4V'yi geride bırakırken, robot manipülasyonu testlerinde açık kaynaklı bir model olan OpenVLA'yı geride bırakmayı başarmış durumda.
Öte yandan tüm yapay zeka modelleri gibi Magma da mükemmel değildir. Magma'nın en büyük zorluklarından biri, çok adımlı kararlar gerektiren karmaşık görevlerde hala sınırlamalara sahip olması. Microsoft bu yetenekleri iyileştirmek için çalışmalarını sürdürüyor. Gelecek hafta, Magma'nın eğitim ve çıkarım kodlarını GitHub'da yayınlayacak olan Microsoft, dış araştırmacılara da bu alanda katkı sağlama fırsatı sunacak.
İnce Satırlar
Liste Modu
Döşeme Modu
Sade Döşeme Modu
Blog Modu
Kargo şirketleri için güzel bir alternatif olabilir.