Głos podkładany przez algorytm. Nowy start-up może zrewolucjonizować świat dubbingu 04.02.2021
DeepDub chce zwiększyć inkluzywność przemysłu filmowego, docierając ze swoją ofertą do dystrybutorów w krajach pomijanych przez globalnych producentów.
O izraelskiej firmie zrobiło się głośno w drugiej połowie stycznia, gdy magazyn „Deadline” powiadomił o tym, że do jego komitetu doradczego dołączył były pracownik WarnerMedia, Kevin Reilly. Doświadczony ekspert zaufał debiutującemu start-upowi, dostrzegając w jego specyfice niemały potencjał. – Po prowadzeniu najbardziej rozpoznawalnych międzynarodowych marek z sektora rozrywkowego widzę, dlaczego ta technologia może zmienić zasady gry – tłumaczył.
Szansę na zaistnienie DeepDub zauważył również komentator portalu „IndieWire”, Tyler Hersko. Jego wprowadzeniu na rynek towarzyszą sprzyjające okoliczności. Platformy streamingowe śmiało inwestują w tworzenie nieanglojęzycznych, oryginalnych produkcji, chcąc szerzej dotrzeć do odbiorców spoza Stanów Zjednoczonych – na przykład tych mieszkających w Azji. Dobrym przykładem takiej realizacji jest francuskojęzyczny serial Lupin z Omarem Sy, który od kilku miesięcy bije rekordy popularności na całym świecie.
Głównym zadaniem DeepDubu będzie opracowywanie wielojęzycznego dubbingu filmów, programów telewizyjnych i gier wideo za pomocą technologii, która zachowuje brzmienie głosu aktorów występujących w danym projekcie.
– Pomysł bazuje na tzw. deep learningu oraz działaniu sztucznej inteligencji opartej na sieciach neuronowych. Algorytm otrzymuje ścieżkę dźwiękową z wybranego nagrania. Najlepiej, żeby głos na ścieżce audio był odizolowany od reszty, ale nie jest to niezbędne. Następnie program uczy się poszczególnych cech mowy danej osoby: intonacji, szybkości wypowiadania słów, odstępów między frazami czy tonu. Rejestruje je i dzięki temu może zastosować je do nowych głosów. Możemy dodać lub usunąć z nich akcenty, nadać mu emocje lub sprawić, że będzie brzmiał młodziej albo starzej. Istnieje też opcja jego zaadaptowania do innego języka – podkreśla w rozmowie z „IndieWire” Oz Krakowski, specjalista ds. marketingu w DeepDubie.
Jeśli hollywoodzcy giganci, z którymi prowadzone są już wstępne rozmowy, przystaną na pomysł Izraelczyków, przez świat dubbingu może przetoczyć się niemała rewolucja. Założyciele DeepDubu podkreślają, że ich idea bazuje na kreatywnym wykorzystaniu coraz popularniejszej technologii, stosowanej m.in. w deepfake'ach, w pożyteczny sposób. Jest przy tym szybsza i tańsza od tradycyjnego nagrywania. Pomysł z pewnością nie przypadnie jednak do gustu licznej grupie aktorów dubbingowych. Implementacja narzędzia na szeroką skalę oznaczałaby dla nich utratę pracy.
zobacz także
- Zrealizowano pierwszy w historii film w całości oparty na silniku Unreal Engine
Newsy
Zrealizowano pierwszy w historii film w całości oparty na silniku Unreal Engine
- Japońska codzienność sprzed stu lat. Zobacz film o Tokio zrekonstruowany za pomocą sztucznej inteligencji
Newsy
Japońska codzienność sprzed stu lat. Zobacz film o Tokio zrekonstruowany za pomocą sztucznej inteligencji
- Jak powstawał „The Mandalorian”? Zobacz film zza kulis serialu
Newsy
Jak powstawał „The Mandalorian”? Zobacz film zza kulis serialu
- Od Hitchcocka do Avengers. Historia komputerowych efektów specjalnych w jednym klipie
Newsy
Od Hitchcocka do Avengers. Historia komputerowych efektów specjalnych w jednym klipie
zobacz playlisty
-
Instagram Stories PYD 2020
02
Instagram Stories PYD 2020
-
George Lucas
02
George Lucas
-
Nowe utwory z pierwszej 10 Billboard Hot 100 (II kwartał 2019 r.)
15
Nowe utwory z pierwszej 10 Billboard Hot 100 (II kwartał 2019 r.)
-
05