Das Universum der visuellen Effekte berechnen

Wie sich die VFX-Branche mit neuen Technologien weiterentwickelt

Filme nutzen visuelle Effekte (VFX), um das Unmögliche zu verstärken und zu visualisieren und Szenen zu schaffen, die mit Live-Action-Filmen allein nicht eingefangen werden könnten.

VFX wird digital gerendert und die Workloads werden traditionell vor Ort ausgeführt. Gruppen von Kreativen saßen da und bearbeiteten Bild für Bild, während aus dem Nebenraum das Summen der Server zu hören war.

Da visuelle Effekte jedoch immer detaillierter und rechenintensiver werden, macht es für die Branche keinen Sinn mehr, für jedes Projekt ein Rechenzentrum vor Ort einzurichten.

Ganz gleich, ob es sich um ein besonders komplexes Projekt handelt, das erheblich mehr Rechenleistung benötigt, als die Einrichtung vor Ort bereitstellen kann, oder ob es sich um eine neue Technologie handelt, die die Rechenleistung am Filmset selbst benötigt, der VFX-IT-Fußabdruck diversifiziert sich von der Cloud zur Cloud Rand.

„An jeder Filmproduktion werden viele Leute arbeiten und sie benötigen immer Zugriff auf einen zentralen Speicherpool, aus dem sie Medien abrufen können, damit die Arbeit synchronisiert bleibt, und so ist es, seit die Leute herausgefunden haben, wie man Netzwerkspeicher nutzt.“ Videobearbeitung“, erklärte Arvydas Gazarian, Lösungsarchitekt bei Evolutions TV, einem in London Soho ansässigen Postproduktionshaus.

Aus diesem Grund bleibt ein großer Teil der IT von Evolutions vor Ort, um sicherzustellen, dass alle Redakteure auf die korrekte Version des Filmmaterials zugreifen können.

„Wir verfügen über 9 Petabyte an Medien an vier unserer Standorte. An jedem Standort gibt es mindestens 1 Petabyte, mit einer durchschnittlichen Verteilung von 200 TB pro Projekt“, fügte Gazarian hinzu.

Aber darüber hinaus wird sich Evolutions einem Cloud-Dienst namens European Raid Arrays (ERA) zuwenden. ERA bietet ein cloudbasiertes Workstation- und Speichersystem, das speziell für Medien-, Rundfunk- und Postproduktions-Workloads entwickelt wurde. Hier verfügt Evolutions über rund vier Petabyte Speicher und knapp 130 Workstations in einem Rechenzentrum, mit dem die On-Prem-Standorte über eine 40-Gigabit-Leitung verbunden sind.

„Die VFX-Branche ist von Natur aus hoch im Kurs, mit einem plötzlichen und dramatischen Anstieg der Nachfrage“, erklärte Gazarian. Ein neues Projekt wird in Auftrag gegeben und die benötigte Rechenleistung wird sich plötzlich vervielfachen, was manchmal dazu führt, dass die Anforderungen über das hinausgehen, was physisch vor Ort untergebracht werden kann.

Die Nutzung eines Cloud-Service für VFX wird immer häufiger und wurde besonders bekannt, als Weta FX ankündigte, dass Avatar: The Way of Water vollständig in der Amazon Web Services (AWS)-Cloud gerendert wurde.

Weta FX kam im Durchschnitt auf etwa 500 Iterationen pro Aufnahme, von denen jede Tausende von Frames enthielt. Das Rendern jedes Frames dauerte 8.000 Thread-Stunden oder die kombinierte Leistung von 3.000 virtuellen CPUs in der Cloud für eine Stunde. Insgesamt führte das Team über einen Zeitraum von 14 Monaten 3,3 Milliarden Thread-Stunden auf AWS aus.

Um dies vor Ort zu erreichen, müsste das Unternehmen nach Angaben des Unternehmens eine Baugenehmigung der örtlichen Gemeinde einholen, um sein Rechenzentrum physisch zu erweitern. Produzent Jon Landau sagte: „Der Unterschied, als wir in die Cloud wechselten, war wirklich spürbar. Ohne die Unterstützung von AWS wären wir nicht fertig geworden.“

Heutzutage ist es nicht ungewöhnlich, dass Postproduktionshäuser diesen Weg einschlagen und temporäre Cluster in der Cloud einrichten, um die Arbeitslast zu verwalten. Doch diese Arbeitsbelastung wird für Postproduktionshäuser immer anspruchsvoller.

Wenn es um Postproduktion und VFX geht, führen eine höhere GPU-Leistung und eine bessere Auflösung einfach zu glaubwürdigeren Simulationen, und da Optionen wie die Verlagerung der Arbeitslast in die Cloud verfügbar sind, ist es einfach eine Frage der Bereitschaft, Geld in die Lösung des Problems zu stecken.

In der Zwischenzeit werden die meisten VFX-Häuser feststellen, dass eine hybride IT-Lösung aus On-Prem- und Cloud-Computing für einen herkömmlichen Postproduktionszeitplan ausreichen wird. Aber der Sektor entfernt sich vom „Traditionellen“. Nicht mehr alle VFX werden in der Postproduktion erstellt

Durch den zunehmenden Einsatz von visuellen Effekten in der Kamera ist mehr Verarbeitung in Echtzeit oder sogar vor Beginn der eigentlichen Dreharbeiten erforderlich.

John Rowe, Leiter VFX bei Boomsatsuma, einer Universität, die sich auf alles rund um die Postproduktion spezialisiert, erklärte DCD das relativ neue Konzept der kamerainternen visuellen Effekte (ICVFX).

Dieser VFX-Ansatz verändert die Pipeline grundlegend. Die Simulation erfolgt nicht mehr in der Postproduktion, sondern vor Beginn der Dreharbeiten und verwendet dieselben Servertypen, die wir in Videospielen sehen und die Echtzeit-Rendering ermöglichen. In den meisten Fällen handelt es sich dabei um die Verwendung der Unreal Engine von Epic Games.

Rowe hatte an diesem Tag mit Studenten zusammengearbeitet und einen Dreh kreiert, bei dem in Echtzeit die simulierte Kulisse eines Dinosaurierangriffs hinter den Schauspielern abgespielt wurde.

„Man bringt seine Umgebung in ein Studio, spielt es auf einer Leinwand ab und stellt dann seine Schauspieler davor und filmt sie“, erklärte Rowe.

„Die Kamera muss mit der Spiel-Engine synchronisiert werden und verwendet dazu einen Videoprozessor. An dieser Technik sind viele Computer und mehrere andere Personen beteiligt, und alles muss zusammenpassen.“

„Der Bildschirm gibt Ihre Umgebung über eine Spiel-Engine wieder, sodass Sie sich in der Umgebung umschauen und sie auf dem Bildschirm anzeigen können, die Sie dann mithilfe eines anderen Teils derselben Spiel-Engine synchronisieren, um sie mit der Kamera im Computer zu verbinden. Also wann.“ Man bewegt tatsächlich die Kamera, die in der Simulation bewegt sich gleichzeitig, und zwar mithilfe eines Trackingsystems und Sensoren, die im Studio verteilt sind.“

Eines der Unternehmen, das Pionierarbeit beim Einsatz von ICVFX geleistet hat, ist Lux Machina. Lux Machina steht unter anderem hinter den bekannten Grafiken von Filmen wie „The Irishman“ und der Fernsehserie „The Mandalorian“.

„Die Prysm Stages von Lux Machina sind im Grunde völlig neue Welten“, sagte David Gray, Geschäftsführer von Lux Machina Consulting, gegenüber DCD.

„Die Londoner Bühne ist 74 Meter lang und 26.000 Pixel breit und 2.800 Pixel hoch. Allein die Wand hat eine neunfache Auflösung von 4K, die Decke nicht eingerechnet.“

Dies ist nicht nur ein unvorstellbarer Verarbeitungsaufwand, sondern muss auch in Echtzeit gerendert werden, was bedeutet, dass es vor Ort am Rande der Produktion erfolgen muss.

„Aufgrund der Auflösungen und Daten, mit denen wir im Moment zu tun haben. Es ist einfach nicht machbar, mit dieser Größe des LED-Volumens in der Cloud zu laufen. Deshalb betreiben wir im Allgemeinen ein 100-Gig-Backbone mit einer 25-Gig-Maschine.“ in der Lage sein, die Daten zwischen ihnen abzurufen", erklärte Gray.

Aber obwohl es sich um eine Echtzeitgenerierung handelt, handelt es sich nicht um die Erstellung von Inhalten in Echtzeit. Im Vorfeld bleiben noch viele Stunden für die Erstellung von Grafiken übrig. Die Beleuchtung, die Erzeugung der Assets und ihre Texturen erfolgen präventiv. Laut Gray ist dies in vielerlei Hinsicht anspruchsvoller als eine herkömmliche Pipeline, da alles optimiert werden muss. Warum also?

Der Grund dafür ist, dass es sich bei den Prysm Stages um vollständig kontrollierbare Umgebungen handelt. Die Bilder können in Sekundenschnelle optimiert und perfektioniert und die Beleuchtung perfekt reproduziert werden. Filmregisseure sind von dem Konzept der „goldenen Stunde“ besessen, dieser kurzen Zeitspanne jeden Tag, in der das natürliche Licht so schön ist, dass es fast ätherisch wirkt. Aber mit einer Prysm Stage kann die „goldene Stunde“ zu einem goldenen Tag, sogar zu einer goldenen Woche werden.

ICVFX verändert die Terminplanung für das Produktionsteam erheblich. In typischen Produktionsumgebungen erscheint das Lichtteam beispielsweise erst, wenn die endgültigen Dreharbeiten beginnen können. Mit ICVFX kann die Beleuchtung bereits ab den ersten Testaufnahmen zur Verfügung stehen, und das bei geringem Mehraufwand.

„Wenn es an ‚menschlichen‘ Talenten mangelt, können wir mit ICVFX die Unreal Engine nutzen und damit filmische Beleuchtung produzieren“, sagte Junaid Baig, Vizepräsident für Rendering und Forschung & Entwicklung bei Lux Machina.

Dieser Front-End-VFX-Ansatz ist neu in der Branche und es dauert eine Weile, bis sich diejenigen, die damit arbeiten, zurechtfinden. Normalerweise würden Sie sich eine Aufnahme ansehen und dann entscheiden, welche Beleuchtung benötigt wird, aber bei ICVFX müssen Sie die Beleuchtung festlegen, bevor Sie überhaupt die Schauspieler im Raum sehen. Um dies zu umgehen, werden vor Beginn der Dreharbeiten sinnvolle Gespräche geführt, um die Vision des Regisseurs wirklich zu verstehen.

Es gibt einige Dinge, die ICVFX nicht erreichen kann. Beispielsweise wäre eine überzeugende Explosion oder Explosion schwierig.

„Die Unreal Engine kann das nicht wirklich so machen, dass es überzeugend gut aussieht“, sagte Baig. „Also würde man alles andere mit ICVFX drehen und die Explosion später als traditionelle Form von VFX hinzufügen. Auf diese Weise würde man das tun.“ Ich brauche nur zwei Teams – das ICVFX-Team und die Post. Man bräuchte weder die Beleuchtung noch das Bauteam, um das physisch zu erreichen.“

Um ICVFX zu erreichen, verwendet Lux Machina durchschnittlich 24 Rendering-Maschinen mit jeweils zwei GPUs – in diesem Fall Nvidia RTX 6000 – sowie verschiedene Kabel mit hoher Bandbreite. Damit dies in Echtzeit geschieht und dann auf den LED-Bühnen reflektiert wird, gilt: Je näher am Edge, desto besser.

„VFX-Künstler denken nicht wirklich an Geschwindigkeit, sondern an Qualität“, sagte Baig. „Es muss in mindestens 24 Bildern pro Sekunde erfolgen. In einer herkömmlichen VFX-Pipeline können Sie sogar 16K-Texturen verwenden. Wenn Sie jedoch versuchen, dies über eine Unreal Engine oder einen GPU-basierten Renderer auszuführen, wird es abstürzen.“ . Mit ICVFX gleichen Sie also ständig die Qualität und die Qualität der Edge-Rechenleistung ab.“

Der dafür erforderliche Kraftaufwand ist erheblich, wird jedoch durch die bloßen Anforderungen der Bühne selbst noch verstärkt. Laut der Website von Prysm Stages umfasst die Bühnenproduktionsfläche 7.700 Quadratmeter, die vollständig mit LED-Kacheln bedeckt ist, die Bilder mit einer Auflösung von bis zu 22.176 x 3.168 Pixeln an der Hauptrückwand erzeugen.

„Es verbraucht viel Strom, und das Gebäude muss für die Unterbringung dieser riesigen Struktur vorbereitet werden. Hitze ist ein großes Problem, und man muss Wege finden, die Wärme zu verteilen, und der Serverraum selbst erzeugt viel Lärm.“

Aus diesem Grund lagert Lux Machina seine Server in einem isolierten Außenraum mit viel Kühlausrüstung. Für Dreharbeiten, die nicht auf den eigenen Bühnen von Lux stattfinden, muss dieser Serverraum am neuen Set eingerichtet werden.

Unabhängig davon, ob VFX-Unternehmen ein lokales Rechenzentrum nutzen, Workloads in der Cloud hochfahren oder ein Rechenzentrum am Rande des Filmsets einrichten, ist in der gesamten Branche festzuhalten, dass die Rechenleistung, die zur Erzielung gewünschter Effekte erforderlich ist, zunimmt , und zwar nicht schrittweise.

Die Auflösungen nehmen exponentiell zu. Simulationen sind länger „gut genug, um die Geschichte zu erzählen?“ sondern eine nahezu perfekte Simulation des wirklichen Lebens, erstellt mit nicht perfekter aktueller Technologie.

Unabhängig davon, ob dies in der Post- oder Vorproduktion geschieht, wird die Visualisierung der Auswirkungen immer virtueller.