Microsoft opracował technologię VASA, która pozwala tworzyć realistyczne materiały deepfake na podstawie jednego zdjęcia i ścieżki dźwiękowej.
Oprogramowanie obsługuje synchronizację ust z dźwiękiem, gesty twarzy, ruchy głowy, a nawet niewidoczne ruchy ciała w czasie rzeczywistym.
Microsoft Research opublikował dokument na temat aplikacji AI, którą rozwija. Program nosi nazwę VASA-1 i potrafi tworzyć bardzo realistyczne wideo na podstawie tylko jednego zdjęcia twarzy i ścieżki dźwiękowej. Co jeszcze bardziej imponujące, oprogramowanie generuje wideo i zamienia twarze w czasie rzeczywistym.
Sprawdź: Połączenie nie jest prywatne
Visual Affective Skills Animator, czyli VASA, to ramy uczenia maszynowego, które analizują zdjęcie twarzy, a następnie animują je do głosu, synchronizując ruchy ust i ust z dźwiękiem. Symuluje również mimikę twarzy, ruchy głowy i nawet niewidoczne ruchy ciała.
Zobacz jak działa Microsoft VASA:
Jak wszystkie generatywne AI, nie jest doskonałe. Maszyny wciąż mają problemy z drobnymi szczegółami, takimi jak palce czy — w przypadku VASA — zęby. Zwracając uwagę na zęby awatara, można zauważyć, że zmieniają one rozmiary i kształt, co nadaje im niewłaściwy wygląd. Jest to stosunkowo subtelne i wydaje się zmieniać w zależności od ilości ruchu w animacji.
Są też pewne manieryzmy, które nie wyglądają do końca naturalnie. Trudno jest je opisać słowami. To raczej tak, jakby mózg rejestrował, że coś jest nieco nie tak z mówcą. Jednak jest to zauważalne tylko przy dokładnej obserwacji. Dla przypadkowego obserwatora twarze mogą wyglądać jak nagrane, mówiące osoby.
Deepfake z VASA poważnym zagrożeniem
Twarze użyte w demonstracjach badaczy są również generowane przez AI za pomocą StyleGAN2 lub DALL-E-3. Jednak system działa z dowolnym obrazem — rzeczywistym lub wygenerowanym. Może nawet animować malowane lub rysowane twarze.
Zobacz: Brak ID dzwoniącego
Narzędzie może zapewnić wiele rozrywki, ale istnieją poważne obawy, że cyberprzestępcy mogą użyć tej technologii do rozpowszechniania propagandy lub prób oszustwa poprzez podszywanie się pod członków rodziny. Biorąc pod uwagę, że wielu użytkowników mediów społecznościowych publikuje zdjęcia członków rodziny na swoich kontach, byłoby łatwo dla kogoś zdobyć obraz i naśladować tego członka rodziny. Mogliby nawet połączyć to z technologią klonowania głosu, aby uczynić to bardziej przekonującym.
Materiał deepfake stworzony w VASA na podstawie jednego zdjęcia:
Zespół badawczy Microsoftu przyznaje, że istnieje potencjał nadużyć, ale nie podaje odpowiedniej odpowiedzi na zwalczanie tego zjawiska — poza dokładną analizą wideo. Wskazuje na wcześniej wspomniane artefakty, ignorując trwające badania i ciągłe doskonalenie systemu.
Jedynym namacalnym wysiłkiem zespołu mającym na celu zapobieganie nadużyciom jest nieudostępnianie go publicznie. “Nie planujemy wydania publicznej demonstracji online VASA, czy też API, produktu, dodatkowych szczegółów implementacji ani żadnych powiązanych ofert, dopóki nie będziemy pewni, że technologia zostanie wykorzystana odpowiedzialnie i zgodnie z odpowiednimi przepisami — powiedzieli badacze.
Praktyczne zastosowania
Technologia ma jednak kilka intrygujących i praktycznych zastosowań. Jednym z nich byłoby wykorzystanie VASA do tworzenia realistycznych awatarów wideo, które renderowane są lokalnie w czasie rzeczywistym, eliminując potrzebę zużywania pasma na transmisję wideo. Apple już robi coś podobnego z dostępnymi w Vision Pro “przestrzennymi personami”. Dostrzegalne jest też szerokie zastosowanie w grach wideo.
Szczegóły techniczne znajdują się w dokumencie whitepaper w repozytorium arXiv. Więcej demonstracji wideo znajduje się na stronie internetowej Microsoftu.
Autor: Kamil Gliński, dziennikarz Vault-Tech.pl
Kamil Gliński wykazuje się głęboką wiedzą i doświadczeniem w dziedzinie cyberbezpieczeństwa, co jest kluczowe dla ochrony danych i systemów w dynamicznie zmieniającym się środowisku cyfrowym. Jego umiejętność identyfikowania potencjalnych zagrożeń i stosowania najnowszych technologii ochrony sprawiają, że jest cenionym ekspertem. Ponadto jego zaangażowanie w ciągłe doskonalenie umiejętności i aktualizowanie wiedzy o nowych zagrożeniach oraz rozwiązaniach w cyberbezpieczeństwie podkreśla profesjonalizm w zapewnianiu wysokiego poziomu bezpieczeństwa. Współpracuje z Vault-Tech.pl od samego początku istnienia serwisu.
Czytaj też: