Netflix’in 새로운 yapay zekası, videoları fizik kurallarına uygun bir şekilde düzenliyor.

Netflix, yapay zekâ tabanlı video düzenleme araçlarını inceleyen çarpıcı bir araştırmanın sonuçlarını paylaştı. “VOID” adlı bu sistem, görüntülerden istenmeyen nesneleri çıkarmanın ötesine geçerek sahnedeki diğer öğelerin hareketlerini ve etkileşimlerini gerçekçi bir şekilde yeniden düzenliyor. Çıkan sonuç, fizik kurallarına uygun ve tutarlı bir akış sağlıyor.

Mevcut birçok yapay zekâ aracı, videolardan nesne silme işlemini gerçekleştirebiliyor. Ancak bu tür düzenlemelerde, sahnede kalan unsurların hareketleri genellikle doğal bir izlenim vermiyor. Örneğin, bir nesne eliminasyonunda, diğer nesnelerin havada asılı kalması ya da hareketlerin aniden kesilmesi gibi sorunlar sıkça yaşanabiliyor. VOID, bu noktada düzenlemelerin ardından sahnedeki neden-sonuç ilişkisini yeniden kurguluyor.

Netflix VOID, fiziksel etkileşimleri yeniden hesaplıyor

Netflix tarafından sağlanan teknik detaylar, VOID’un bir nesne kaldırıldığında diğer unsurları nasıl etkilediğini analiz ettiğini ortaya koyuyor. Bu analizle sahnede kalan objelerin hareketleri, yeni duruma uygun şekilde güncelleniyor. Böylece görüntülerde donmalar, kopukluklar veya fiziksel tutarsızlıklar oluşmasının önüne geçiliyor.

VOID’un çalışma prensibi, yapılan düzenlemeleri zincirleme bir tepki olarak ele almasına dayanıyor. Sistem, bir nesnenin kaldırılmasıyla etkilenen alanları belirleyerek gölgeler, çarpışmalar ve destek noktaları gibi unsurları dikkate alarak kapsamlı bir harita oluşturuyor. Sonrasında bu değişikliklere uygun yeni bir video sekansı oluşturuluyor ve ek bir iyileştirme süreciyle hareketlerin akıcılığı artırılıyor, nesnelerin deformasyona uğraması engelleniyor.

Modelin en dikkat çekici özelliklerinden biri, neden-sonuç ilişkisini doğrudan öğrenmiş olmasıdır. Binlerce simüle edilmiş sahne üzerinde eğitilen sistem, fiziksel etkileşimlerin nasıl değiştiğini anlayabiliyor. Örneğin, domino taşlarından oluşan bir dizide bazı taşların kaldırılması durumunda, sistem yalnızca eksik parçaları silmekle kalmayıp zincirleme reaksiyonu tamamen durduruyor. Ayrıca, bir sahnedeki birey kaldırıldığında, geride kalan unsurların doğal davranışlarını sürdürmesini sağlıyor.

Bu yaklaşım, mevcut video düzenleme araçlarının büyük bir kısmından farklı olarak yalnızca geçmiş görüntülerden öğrenilen kalıpları taklit etmekten öteye geçip, fizik kurallarına dayalı bir yeniden inşa süreci sunuyor. Ancak, VOID henüz ticari bir ürün haline gelmiş değil. Çalışma, araştırma aşamasında ve bir arXiv makalesi aracılığıyla paylaşılmakta. Ticari araçlara ne zaman entegre edileceğine dair net bir takvim mevcut değil.

Yine de yapay zekânın video üretim süreçlerinde artan kullanımıyla birlikte, fiziksel etkileşimleri doğru bir şekilde modelleyen araçlara olan ihtiyaç daha belirgin hale geliyor. Film ve dizi prodüksiyonlarında küçük tutarsızlıklar bile izleyici deneyimini ciddi şekilde etkileyebiliyor. Bu nedenle, VOID benzeri sistemlerin geliştirilmesi, ileri düzey video düzenleme çözümlerinin geleceğini şekillendirebilir.