KI lässt Personen andere Sprachen sprechen und passt Mundbewegungen an

Gestern habe ich ein Video bei Twitter gesehen und geteilt, das ich dann doch noch einmal separat hier im Blog bringen und vor allem mit ein paar Drumherum-Informationen aufbereiten möchte. Darin bekommen wir Regisseur Jon Finger zu sehen, wie er eine KI-gefütterte Videobearbeitungs-Software ausprobiert, die Personen in Videos eine andere Sprache sprechen lässt. Aber nicht einfach nur mittels einer stumpfen Übersetzung oder gar einer stimmlichen Anpassung, nein, die Lippenbewegungen werden derart angepasst, dass man das Gefühl hat, er spräche tatsächliche Französisch bzw. Deutsch – dabei beherrscht er beide Sprachen kein bisschen. Seht und staunt selbst:

Testing out @HeyGen_Official translation on French and German. I don’t speak either language so let me know if it sounds natural if you do.
I hope if you pay you can turn off the color correction.
It didn’t work on my phone so I had to upload on my pc.https://t.co/FMJp9sJEBI pic.twitter.com/iF5eONAQ3c

— Jon Finger (@mrjonfinger) September 11, 2023

Die Übersetzung ist (zumindest, was das Deutsche anbelangt, das ich nachvollziehen kann) natürlich nicht 100-prozentig sauber gelungen, aber das ist noch am einfachsten zu verbessern. Die Stimm-Imitation sowie die Einarbeitung der Lippenbewegungen finden aber auf einem atemberaubenden Level statt. Das ist ein absoluter Game Changer, der leider nicht nur viele tolle und kreative Dinge zulässt, sondern auch Fake News Tür und Tor öffnen wird. So wurde zum Beispiel neulich ein Video rumgereicht, das vermeintlich zeigt, wie Lionel Messi bereits nach kurzer Zeit in den USA sehr ordentliches Englisch spricht – das hat er aber nie so vorgetragen:

Messi Speaking English 😭😭😭pic.twitter.com/q3DDRCQ8oF

— ACE (@FCB_ACEE) September 11, 2023

Dahinter steckt HeyGen, ein Anbieter, der KI-Videos generieren lässt. Eigentlich soll das ein Ersatz für eine reale Videoproduktion sein, so dass man ohne Kamera mittels künstlicher Avatare und Sprach-Generierung aus Scripten Videos erstellen kann. Jetzt lassen sich also auch noch spielerisch bestehende Realaufnahmen anpassen. Absoluter Irrsinn! Hier noch ein paar schnelle Beispiele für den Effekt:

So here at @HeyGen_Official, we've been working on a new AI feature to help creators and businesses translate their videos as simply as possible.

Step 1. Upload video
Step 2. Choose your language
Step 3. Submit

Here's a sample of @MKBHD, @elonmusk, @casey and Emma Chamberlain pic.twitter.com/Enoz8YDzWC

— Joshua Xu (@joshua_xu_) August 3, 2023

Wir sind in der Zukunft anbelangt. KI hat innerhalb des letzten Jahres einen gewaltigen Sprung gemacht und wird durch den Einstieg in den Mainstream mit all seinen zahlreicher werdenden Anwendungsfällen immer schneller dazu lernen. Was mit „Haha, schau mal, ich tausche mein Gesicht mit einem anderen aus!“ angefangen hat, wird jetzt halt „Ich lasse einen weltbekannten Argentinier lupenreines Englisch reden“.

Die Möglichkeiten sind natürlich enorm. Man stelle sich vor, wie interne und externe Kommunikation eines international agierenden Unternehmens aussehen kann. Die Ansprache der Geschäftsführung wird einfach direkt in X Sprachen transferiert, wobei sich jedes wie eine direkte Ansprache anfühlt, da es aussieht und sich anhört, als wäre die Sprache auch wirklich gesprochen worden. Auch mit Hinblick auf Reise-Erfahrungen ist das eine gewaltige Innovation. So bleibt kaum erahnbar, was wir noch alles binnen der nächsten Jahre und Jahrzehnte erleben können, das bis vor Kurzem noch als unerreichbare Science Fiction galt.