Dengan memanfaatkan model bahasa dan ucapan besar, AI generatif membuat avatar 3D cerdas yang dapat melibatkan pengguna dalam percakapan alami, dari video game hingga layanan pelanggan. Untuk membuat karakter-karakter ini benar-benar seperti hidup, mereka membutuhkan ekspresi seperti manusia. Nvidia Audio2face mempercepat penciptaan karakter digital yang realistis dengan memberikan animasi wajah real-time dan sinkronisasi bibir yang digerakkan oleh AI generatif.
Saat ini, NVIDIA membuka sumber teknologi Audio2face kami untuk mempercepat adopsi avatar bertenaga AI dalam permainan dan aplikasi 3D.
Audio2Face menggunakan AI untuk menghasilkan animasi wajah yang realistis dari input audio. Ini bekerja dengan menganalisis fitur akustik seperti fonem dan intonasi untuk membuat aliran data animasi, yang kemudian dipetakan ke pose wajah karakter. Data ini dapat diberikan offline untuk konten yang telah ditulis sebelumnya atau dialirkan secara real-time untuk karakter dinamis, yang digerakkan AI, memberikan sinkronisasi bibir yang akurat dan ekspresi emosional.
NVIDIA membuka sumber model Audio2face dan SDK sehingga setiap game dan pengembang aplikasi 3D dapat membangun dan menggunakan karakter kesetiaan tinggi dengan animasi canggih. Kami juga membuka sumber kerangka pelatihan Audio2face, sehingga siapa pun dapat menyempurnakan dan menyesuaikan model kami yang sudah ada sebelumnya untuk kasus penggunaan tertentu.
Lihat tabel di bawah ini untuk daftar lengkap alat sumber terbuka dan pelajari lebih lanjut di NVIDIA Developer.
| Kemasan | Menggunakan |
| AUDIO2FACE SDK | Perpustakaan dan Dokumentasi untuk Penulisan dan Runtime Facial Animations on-device atau di cloud |
| Plugin Autodesk Maya | Plugin Referensi (V2.0) dengan eksekusi lokal yang memungkinkan pengguna untuk mengirim input audio dan menerima animasi wajah untuk karakter di Maya |
| Plugin Engine 5 Unreal | UE5 Plugin (v2.5) untuk UE 5.5 dan 5.6 yang memungkinkan pengguna untuk mengirim input audio dan menerima animasi wajah untuk karakter di Unreal Engine 5 |
| Kerangka Pelatihan Audio2face | Kerangka kerja (v1.0) untuk membuat model audio2face dengan data Anda |
| Kemasan | Menggunakan |
| Data sampel pelatihan audio2face | Contoh data untuk memulai dengan kerangka kerja pelatihan |
| Model Audio2face | Model regresi (v2.2) dan difusi (v3.0) untuk menghasilkan lip-sinkronisasi |
| Model Audio2emotion | Model produksi (v2.2) dan eksperimental (v3.0) untuk menyimpulkan keadaan emosi dari audio |
Teknologi sumber terbuka memungkinkan pengembang, siswa, dan peneliti untuk belajar dari dan membangun kode canggih. Ini menciptakan loop umpan balik di mana komunitas dapat menambahkan fitur baru dan mengoptimalkan teknologi untuk beragam kasus penggunaan. Kami senang membuat animasi wajah berkualitas tinggi lebih mudah diakses dan tidak sabar untuk melihat apa yang diciptakan masyarakat dengannya. Bergabunglah dengan komunitas pengembang NVIDIA Audio2face kami di Discord dan bagikan karya terbaru Anda.
Model Audio2face yang terkemuka di industri digunakan secara luas di seluruh industri game, media dan hiburan, dan layanan pelanggan. Sejumlah pengembang ISV dan game, termasuk Convai, Codemasters, GSC Games World, Inworld AI, Netease, Reallusion, Perfect World Games, StreamLabs, dan UNEEQ Digital Humans telah mengintegrasikan Audio2face dalam aplikasi mereka.
Reallusion, yang menawarkan platform bagi pencipta untuk membangun karakter 3D, Audio2face terintegrasi dalam rangkaian alatnya. “Audio2Face uses AI to create expressive, multilingual facial animation from audio,” said Elvis Huang, head of innovation at Reallusion, Inc. “Its seamless integration with Reallusion's iClone, Character Creator, and iClone AI Assistant, plus advanced editing tools like face-key editing, face puppeteering, and AccuLip make it easier than ever to produce high-quality character animation.”
Survios, pengembang Alien: Rogue Incursion Evolved EditionMelaju proses animasi mereka, memungkinkan untuk memberikan pengalaman karakter berkualitas tinggi lebih cepat. “Dengan mengintegrasikan Audio2face ke dalam edisi yang berevolusi, kami merampingkan pipa untuk penangkapan lip-sinkronisasi dan penangkapan wajah sambil memastikan pengalaman karakter yang lebih mendalam dan otentik untuk para pemain kami,” kata Eugene Elkin, direktur permainan dan insinyur utama di Survios.
Pertanian 51, pencipta Chernobylite Seri game, Audio2face terintegrasi dalam game terbaru mereka. “Integrasi Teknologi Nvidia Audio2face di Chernobylite 2: zona eksklusi telah menjadi game-changer bagi kami, “kata Wojciech Pazdur, Direktur Kreatif di Farm 51.” Ini memungkinkan kami untuk menghasilkan animasi wajah yang sangat rinci langsung dari audio, menghemat banyak jam kerja animasi. Ide yang tidak mungkin dalam aslinya Chernobylite sekarang dimungkinkan yang membawa tingkat realisme dan pencelupan baru ke karakter, membuat penampilan mereka terasa lebih otentik dari sebelumnya. ”
Di bawah ini adalah pengumuman lain untuk pengembang game yang dirilis bulan ini.
Pembaruan terbaru untuk RTX Kit
RTX Kit adalah rangkaian teknologi rendering saraf kami ke Ray Trace Games dengan AI, membuat adegan dengan geometri yang sangat besar, dan membuat karakter game dengan visual foto-realistis.
Kompresi Tekstur Saraf RTX SDK secara dramatis mengurangi penggunaan memori tekstur berkualitas tinggi tanpa mengorbankan kualitas dan telah menerima sejumlah perbaikan termasuk:
- Optimalisasi perpustakaan untuk set tekstur yang sangat besar dan peningkatan kinerja dengan vektor koperasi di DX12
- Set fitur yang diperluas untuk sampel rendering, peningkatan kinerja dan dukungan DLSS
- Peningkatan alat baris perintah saat mengompresi dan mendekompresi set tekstur yang sangat besar
- Adegan intel sponza baru, bagus untuk pembandingan
RTX Global Illumination SDK memberikan solusi pencahayaan tidak langsung yang dilacak dengan ray dan juga telah menerima perbaikan:
- Penambahan opsi VSYNC ke sampel Pathtracer
- Penambahan visualisasi cache dengan sakelar demodulasi material.
- Algoritma Hashed Radiance Cache (SHARC) secara spasial menghapus opsi pemadatan, memperkenalkan demodulasi material opsional, pass debug tambahan dan pembaruan dokumentasi
NVIDIA VGPU meningkatkan lingkungan pengembangan game
Teknologi NVIDIA Virtual GPU (VGPU) memungkinkan berbagi GPU di antara banyak pengguna di lingkungan tervirtualisasi, memungkinkan sumber daya GPU yang dapat diskalakan untuk mendukung pengembang game di seluruh organisasi. Activision merombak pipa integrasi, pengiriman, dan penyebaran globalnya dengan NVIDIA VGPU, mengganti 100 server warisan dengan hanya enam unit bertenaga GPU RTX. Hasilnya:
- 82% pengurangan jejak kaki
- 72% penurunan penggunaan daya
- Lebih dari 250.000 tugas berjalan setiap hari di 3.000 pengembang dan 500+ sistem
Dengan mengkonsolidasikan infrastruktur dan memungkinkan alokasi GPU dinamis, Activision membangun platform pengujian otomatis yang dapat diskalakan yang mendukung segala sesuatu mulai dari validasi multipemain hingga regresi visual dan pengujian kinerja, mempercepat kecepatan iterasi dan meningkatkan kualitas kode di seluruh papan.
Jelajahi kisah Activision untuk melihat bagaimana penjadwalan GPU terpusat mendefinisikan ulang pipa pengembangan AAA.
Sesi pengembangan grafis dan penyetelan kinerja dari Siggraph 2025
NVIDIA menjadi tuan rumah berbagai sesi pelatihan dan presentasi teknis. Yang menarik bagi pengembang game adalah laboratorium langsung yang menampilkan kemajuan terbaru dalam rangkaian alat pengembang grafis. Rekaman sesi ini sekarang tersedia untuk streaming di NVIDIA On-Demand.
Nsight Graphics in Action: Mengembangkan dan men-debug aplikasi penelusuran ray modern berfokus pada inspeksi dan debugging frame untuk mengidentifikasi dan mendiagnosis bug rendering umum dan pemblokir kinerja, termasuk penggunaan alat penangkapan grafis baru yang menyediakan alur kerja yang diperluas dan dimodernisasi.
Nsight Graphics in Action: Mengoptimalkan shader dalam aplikasi ray-tracing modern adalah penyelaman mendalam ke GPU Trace Profiler, yang memungkinkan Anda menelusuri ke dalam baris kode shader individual untuk menemukan hambatan eksekusi runtime.
Mengoptimalkan manajemen VRAM dengan sistem NVIDIA NSIGHT menunjukkan cara mencapai pandangan holistik tentang kinerja aplikasi dan pemanfaatan sumber daya di seluruh CPU dan GPU menggunakan jejak yang bisa berdurasi beberapa menit. Penekanan khusus diberikan pada alat analisis hotspot grafis baru yang mengubah data timeline mentah menjadi antarmuka berbasis web dengan ringkasan analisis konkurensi yang mudah dibaca, keributan bingkai, dan banyak lagi.
Unduh Nsight Graphics dan Nsight Systems untuk mulai mengoptimalkan game dan aplikasi grafik Anda sendiri.
Apa selanjutnya
Jika Anda tidak dapat menangkap episode webinar “Level Up With Nvidia” kami pagi ini di RTX Mega Geometry di Unreal Engine 5.6, pastikan untuk menangkapnya sesuai permintaan di sini.
Lihat daftar lengkap sumber daya pengembang game kami di sini dan ikuti kami untuk tetap up to date dengan berita pengembangan game nvidia terbaru: