Meta’nın ImageBind yapay zekası insan algısını taklit ediyor

Çok modlu ImageBind, “çok” farklı
İnsan algısı taklit ediliyor
Fotoğrafı çekmiyor, doğruda o anı oluşturmayı hedefliyor
Hedef VR ve meteverse mi?
Yorumlar

Metin Akpınar

Teknoloji Editörü

Meta’nın ImageBind yapay zekası insan algısını taklit ediyor — **Meta**, metin, ses, görsel veriler, sıcaklık ve hareketokumaları dahil olmak üzere birden fazla veri akışını birbirine bağlayan yeni açık kaynaklı AI modeli **ImageBind’ı** duyurdu. Model, bu noktada yalnızca bir araştırma projesi olsa da sunulan örnekler, yapay zekada gelinen noktayı gösteriyor ve ağızları açık bırakıyor. ImageBind, bir kuş fotoğrafından kuş sesi, bir tiren sesinden tren fotoğrafı, veya bir araç motor sesi ve deniz fotoğrafından deniz kenarına park etmiş bir araba fotoğrafı oluşturabiliyor. Bu yapabildikleri ise Meta'nın hedeflediği şeyin sadece görünen kısmı.

Çok modlu ImageBind, “çok” farklı

Meta, insanların bir ortamı nasıl algıladığına veya hayal ettiğine benzer şekilde veriler arasındaki bağlantıları tahmin eden ImageBind adlı bir yapay zeka aracını açık kaynak olarak sundu. Midjourney, Stable Diffusion ve DALL-E 2 gibi görüntü oluşturucular kelimeleri görüntülerle eşleştirerek yalnızca bir metin açıklamasına dayalı görsel sahneler oluşturmanıza olanak tanırken, ImageBind daha geniş bir ağ oluşturuyor. Metin, görüntü / video, ses, 3D ölçümler (derinlik), sıcaklık verileri (termal) ve hareket verilerini (atalet ölçüm birimlerinden) birbiriyle birleştiren ImageBind, bunu her olasılık üzerinde eğitim almak zorunda kalmadan yapıyor.

İnsan algısı taklit ediliyor

Fotoğrafı çekmiyor, doğruda o anı oluşturmayı hedefliyor

Hedef VR ve meteverse mi?

Meta, bu yeni oyuncakla nelerin yapılacağına örnekler vermekten kaçınmıyor. Doğrusu Meta açıkça temel hedefini belli etmekten de çekinmiyor: VR, karma gerçeklik ve metaverse. Örneğin, gelecekte tamamen gerçek 3D sahneleri (ses, hareket vb. ile) anında oluşturabilen bir başlık hayal edin. Ya da sanal oyun geliştiricileri, tasarım süreçlerindeki ayak işlerinin çoğunu ortadan kaldırmak için bunu kullanabilirler.

Meta blog yazısında, "Tipik yapay zeka sistemlerinde, her bir modalite için belirli bir gömme (yani, verileri ve makine öğrenimindeki ilişkilerini temsil edebilen sayı vektörleri) vardır. ImageBind, her farklı modalite kombinasyonuna sahip veriler üzerinde eğitim yapmaya gerek kalmadan birden fazla modalite genelinde ortak bir gömme alanı oluşturmanın mümkün olduğunu gösteriyor.” diyor.

Meta, ImageBind’ı bu noktada durdurmak da istemiyor. Evet, model 6 farklı duyuyu veya modu birleştiriyor ancak Meta ilerleyen dönemlerde altı modalitenin yanında dokunma, konuşma, koku ve beyin fMRI sinyalleri gibi mümkün olduğunca çok sayıda duyuyu birbirine bağlayan yeni modaliteler sunmayı da hedefliyor.

Kaynakça https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/ https://imagebind.metademolab.com/ https://www.engadget.com/metas-open-source-imagebind-ai-aims-to-mimic-human-perception-181500560.html