Ich gehe zwar eh davon aus, dass irgendwann auch jedes Mobiltelefon standardmäßig Videos in deutlich höherer Framerate aufnimmt, so dass man immer im Nachgang überlegen kann, in welcher Geschwindigkeit das Material verarbeitet werden soll, aber aktuell nehmen Slowmotions halt noch eine Menge Speicherplatz ein, ganz von der Machbarkeit zu schweigen. Aber vielleicht kann da auch künftig künstliche Intelligenz aushelfen, wenn man vergessen hat, den Aufnahmemodus umzustellen oder bei der Aufnahme merkt, dass GENAU DAS doch ein toller Zeitlupen-Moment gewesen wäre. NVIDIA hat ein Programm entwickelt, das aus herkömmlichem 30-Frames-Material Slowmotions werden lässt, indem die Zwischenframes quasi errechnet aufgefüllt werden. Und wenn man meint, man hätte ja bereits eine ganz dufte Zeitlupe parat – langsamer geht immer! Da im Grunde genommen jedes langsamer abgespielte Video am Ende in der (etwa gleichen) Framerate ausgespielt wird, lässt sich auch dort beinahe beliebig an der Frame-Schraube drehen (was die Beispiele der Slow-Mo-Guys demonstrieren). Das schaut schon verdammt beeindruckend aus und dürfte spannend werden, wann die ersten Smartphone-Anbieter so eine Funktion integrieren werden.
„Using NVIDIA Tesla V100 GPUs and cuDNN-accelerated PyTorch deep learning framework the team trained their system on over 11,000 videos of everyday and sports activities shot at 240 frames-per-second. Once trained, the convolutional neural network predicted the extra frames.“
Weitere Informationen zum diesem Video zugrunde liegenden Research Paper gibt es auf der Developer-Seite von NVIDIA zu sehen. Noch bin ich etwas skeptisch, ob so wirklich all die kleinen Feinheiten eingefangen werden können, die man halt gerade nicht im Frame hatte, aber zumindest hört so das nervige Ruckeln auf, das viele in Möchtegern-Zeitlupen haben. Zum Beispiel im Rahmen von TV-Übertragungen könnte das Gold wert sein.
Pingback: Slowmotion wird mit der KI von NVIDIA noch slower - KlonBlog