Peneliti UCF Mengembangkan Teknologi Pengeditan Video Berbasis Kecerdasan Buatan
Liga335 – Di era kecerdasan buatan (AI), pengeditan foto yang kompleks dapat dilakukan dengan sekali klik. Apakah Anda ingin menghapus objek dari latar belakang, mengubah warna kemeja Anda, atau membuat wajah Anda terlihat sempurna, AI dapat mengubah foto Anda dengan perintah teks-ke-gambar yang sederhana. Namun, mengedit video dengan perintah AI yang sama tidak semudah itu.
Para peneliti di Fakultas Teknik dan Ilmu Komputer UCF berencana untuk mengubah hal itu. Profesor Nazanin Rahnavard, Associate Professor Chen Chen, dan alumni UCF Nazmul Karim ’20MS ’23PhD dan Umar Khalid ’20MS ’23PhD telah mengembangkan teknologi AI teks-ke-video inovatif yang dapat mengubah video secara dramatis dalam hitungan menit. “Sistem kami mengambil ‘otak’ AI yang sudah terampil dalam menghasilkan gambar dari teks dan menyesuaikannya untuk video, tanpa kehilangan daya kreatif yang membuatnya efektif sejak awal,” kata Rahnavard.
“Terobosan kami berasal dari pengenalan ketidakefisienan mendasar dalam pengeditan teks-ke-video yang ada.” Pendekatan. Sistem saat ini membutuhkan dataset teks-ke-video yang besar untuk pelatihan atau mengandalkan adaptasi model teks-ke-gambar yang mahal secara komputasi untuk setiap video.
Kami yakin harus ada solusi yang lebih efisien dan elegan.” Dengan latar belakang Rahnavard dalam teknik listrik dan Chen dalam ilmu komputer, tim menggunakan teknik aljabar linier untuk menganalisis parameter numerik model AI yang dioptimalkan dan disesuaikan saat belajar tugas baru. Mereka menyadari bahwa alih-alih menyesuaikan seluruh set parameter, mereka dapat memperbarui hanya nilai singular, menjaga kemampuan model AI untuk generalisasi sambil mempercepat waktu adaptasinya.
“Kuncinya adalah mengetahui bagian mana dari ‘memori’ AI yang perlu disesuaikan dan mana yang perlu dipertahankan,” kata Rahnavard. “Dengan fokus hanya pada elemen-elemen paling esensial dan membiarkan sisanya tetap utuh, kami menciptakan metode yang beradaptasi jauh lebih cepat dan efisien sambil tetap menghasilkan hasil berkualitas tinggi dan ekspresif.” The A Model ini bekerja paling baik pada klip video yang sudah ada dan dapat mengeditnya dalam hitungan menit.
Model ini dapat mengubah warna pakaian, mengganti kucing dengan anjing, atau mengubah klip menjadi kartun. Semakin kompleks perintahnya, semakin lama waktu pengeditannya. Namun, Rahnavard mengatakan proses ini masih dapat diselesaikan dalam hitungan menit, bukan jam.
Universitas tersebut baru-baru ini mendapatkan paten untuk teknologi ini, yang dapat digunakan oleh studio film dan perusahaan media sosial. “Teknologi ini memiliki potensi untuk merevolusi pengeditan video di berbagai industri,” kata Rahnavard. “Studio film dapat menggunakannya untuk modifikasi adegan dengan cepat tanpa perlu pengambilan ulang yang mahal, sementara platform media sosial dapat menawarkan filter video instan yang sangat canggih kepada pengguna mereka, jauh melampaui apa yang tersedia saat ini.
