> 3D-Laserscanning
Bei der Vermessung von Objekten oder Räumen mit Hilfe rotierender Laserstrahlen entstehen dreidimensionale Punktwolken (Point Clouds), die in digitale 3D-Modelle umgerechnet werden können. Um ein vollständiges Modell zu erhalten, braucht es mehrere Scans von unterschiedlichen Standorten. Optimale Texturen werden häufig erreicht, indem das Scanning mit der Methode der > Fotogrammetrie kombiniert wird. Laserscans werden vermehrt in der Filmproduktion eingesetzt, um fotorealistische 3D-Modelle für die > Virtual Production zu erhalten. Die Filme des ZHdK-Forschungsprojekts Virtually Real basieren auf diesen Verfahren, vgl. > Virtually Real: Drehen in virtuellen Räumen.
> Links: ETH Zürich /Institut für Landschaftsarchitektur: Schanzengraben Pointcloud Journey / Leica BLK 360 – Is it for the Film Industry? / ScanLAB, London: Showreel / Liam Young: Where the City Can’t See (Teaser) – Experimenteller Spielfilm, gedreht mit Laserscanner
> CGI
Abkürzung für Computer Generated Imagery. Der Standardbegriff, um computergenerierte Bildinhalte und Effekte zu bezeichnen.
> CineTracer
Mit der Worldbuilding-Software CineTracer können Nutzer*innen im 3D-Raum Welten bauen, Figuren inszenieren, Sets einleuchten und Kamerabewegungen choreographieren. > www.cinetracer.com
> Digital Humans
Fotorealistische 3D-Modelle von Menschen werden üblicherweise Digital Humans genannt. Sie entstehen auf der Grundlage von statischen 3D-Scans der Schauspieler*innen auf der Grundlage der > Fotogrammetrie und können mit > Motion Capture animiert werden. Dabei werden Bewegungen von Schauspieler*innen erfasst und auf die Digital Humans übertragen. Wenn auch die Bewegungen der Gesichtsmuskulatur und der Augen erfasst werden, wird meistens der Begriff > Performance Capture angewendet. Digital Humans können auch mit volumetrischen Aufnahmeverfahren oder Videogrammetrie (> Volumetric Capture) erfasst werden.
> Link: Ein Beispiel für einen Digital Human, der in Echtzeit animiert wird, zeigt das Forschungsprojekt Siren (u.a. von Unreal Engine, Cubic Motion, 3Lateral).
> Fotogrammetrie
Fotogrammetrie ist eine Methode zur Erstellung von fotorealistischen 3D-Modellen eines Objekts oder eines Raums auf der Grundlage einer Vielzahl Fotografien. Computerprogramme erkennen die Überschneidung der unterschiedlichen Aufnahmeperspektiven und berechnen auf trigonometrischer Grundlage ein 3D-Modell. Fotogrammetrische Aufnahmen sind zu einer üblichen Methode geworden, um fotorealistische 3D-Modelle für die Virtual Production zu erstellen. (vgl. auch > 3D-Laserscanning)
> Links: Made With Unity: ADAM – Behind the Scenes – Photogrammetry
> Game Engine
Eine Game Engine ist eine Software zum Entwickeln von Videospielen. Mit ihr wird die visuelle Darstellung eines Spiels hergestellt und der Spielverlauf gesteuert. Zu den Komponenten einer Game Engine gehören ein Echtzeit-Renderer zur Darstellung von 3D-Gafiken, eine Physics Engine zur Simulation physikalischer Gesetzmässigkeiten wie Gravitation, Trägheit, und Bewegungsverhalten von Körpern, Flüssigkeiten und Gasen. Durch die stark gesteigerte Leistung können Game Engines komplexe fotorealistische 3D-Welten in Echtzeit rendern und sind so für Simulationsanwendungen ausserhalb des Game-Bereichs interessant geworden. Zu den bekanntesten Engines, die von Usern programmiert werden können, gehören Unity und Unreal Engine.
> Links: Unreal Engine / Unity
> Green Screen
Mit grünen Hintergründen können Objekte im Vordergrund auf der Basis einer eng definierten Farbauswahl isoliert werden, um mit einem beliebigen Hintergrund kombiniert zu werden. Die Zusammensetzung mit dem Hintergrund kann mit spezieller Hardware und in begrenzter Qualität auch in Echtzeit geleistet werden. Die Auswahl von Objekten wird auch Keying genannt, die Zusammensetzung von Vordergrund- und Hintergrundelementen Compositing. Neben der Green Screen wird je nach Anwendung und Objekt- und Lichtverhältnissen auch die Blue Screen eingesetzt.
> Links: Real-time Compositing Demo, UE4 On-Set Facilities / MR Factory Brings Virtual Production to the Studio, Project Spotlight, Unreal Engine
> In-Camera Effect
Wenn ein Visual Effect nicht durch aufwändige Prozesse in der Postproduktion entsteht, sondern direkt beim Drehen hergestellt wird, spricht man von einem In-Camera-Effekt. Einfache In-Camera-Effekte werden durch Filter oder bestimmte Features der Kamera-Hardware erzielt. In letzter Zeit wurden bei Grossproduktionen vermehr grosse LED-Bildschirme oder Laserprojektionen an Stelle von > Green Screen eingesetzt. Diese Verfahren sind zwar teuer, versprechen aber höhere Effizienz, grosse Vorteile bei der Lichtsetzung (die LED-Wände dienen auch als dynamische Lichtquelle) und vereinfachen die Arbeit der Schauspieler*innen, da diese nicht mehr im abstrakten grünen Raum spielen müssen, sondern die fotorealistische Umgebung der Szene beim Drehen vor sich haben.
> Links: Next-Gen Filmmaking, Project Spotlight, Unreal Engine (Kurzversion) / Real-Time In-Camera VFX with UE4’s Next-Gen Virtual Production Tools, Project Spotlight (Langversion /Making of)
> Motion Capture
Motion Capture (kurz: MoCap) ist ursprünglich ein Werkzeug für Animationsfilme. Schauspieler tragen spezielle Anzüge mit Bewegungsmarken, die von speziellen Kameras erfasst und im Computer in ein 3D-Modell umgewandelt werden. Die Bewegungsdaten können auf beliebige, computergenerierte Figuren übertragen werden, um ihnen natürlich wirkende Bewegungen zu verleihen. Dank hoher Computerleistungen kann Motion Capture auch live angewendet werden. So können bei der > Virtual Production die Bilder der > Virtual Camera in Echtzeit generiert werden. Ein Schauspieler, der im MoCap-Anzug im Studio steht, erscheint so auf dem Bild der virtuellen Kamera beispielsweise als Fabelwesen, das sich in einer Fantasielandschaft bewegt.
> Link: Ready Player One: Motion Capture Featurette
> Performance Capture
Performance Capture bezeichnet üblicherweise das Verfahren von > Motion Capture, wenn zusätzlich auch die Bewegungen der Gesichtsmuskulatur und der Augen erfasst werden, um die Animation von virtuellen Figuren komplett zu machen. Zu den bekanntesten Filmfiguren, denen mit Performance Capture Leben eingehaucht wurden, gehören Gollum (The Hobbit) oder Ceasar (Planet of the Apes). Beide Figuren wurden von Andy Serkis interpretiert.
> Link: iPhone X Facial Capture
> Previs
Previsualization, oder kurz Previs, bezeichnet grundsätzlich jede Form von Vorvisualisierung geplanter Film-, Game oder auch Theaterszenen. In letzter Zeit haben sich digitale Anwendungen durchgesetzt, die auf der Grafikleistung von > Game Engines beruhen. Häufig wird dabei auch dazu die Technik von > Virtual Reality eingesetzt. Beispiele der Previs-Anwendung finden sich im Video in der rechten Spalte dieser Webseite. Und in der Ausstellung von ZFICTION.21 wird man sich auch hands-on mit dem Previs-Tisch und der VR-Variante von Previs auseinandersetzen können.
> Real Time / Echtzeit
Echtzeit-Grafikleistung ist die Grundvoraussetzung für > Virtual Production. Durch schnellere Computer und insbesondere die Anwendung von Machine Learning und künstlicher Intelligenz ist gegenwärtig eine beschleunigte Entwicklung im Gange, die vieles möglich macht, was vor kurzem noch lange Rechenprozesse brauchte. Auch Echtzeitprozesse sind vom Input des Befehls bis zum Output des Resultats minimalen Verzögerungen unterworfen (Latenz).
> Tracking
Die Positionsbestimmung ist für die > Virtual Production unabdingbar, damit der genaue Standort relevanter Objekte im wirklichen Raum in den virtuellen Raum des 3D-Modells übertragen werden kann. Trackingsysteme verwenden meist Infrarotkameras, die spezielle Marker (oder Tracker) und ihre räumliche Position im 3D-Raum erkennen können. So kann beispielsweise ein getracktes iPad als Kamera dienen und den virtuellen Raum sichtbar machen (> Virtual Camera). Die Software errechnet aufgrund der Positionsdaten des iPads und der zugeordneten Objektivbrennweite das Bild der virtuellen Kamera und überträgt es in Echtzeit auf das iPad.
> VFX
Übliche Abkürzung für Visual Effects.
> Virtual Camera
Ein Kameraobjekt (z.B. ein iPad), das im realen Raum von einem Trackingsystem erfasst wird, kann aufgrund der Positionsdaten Bilder von einem virtuellen Raum darstellen, der als 3D-Modell von einem Computer emuliert wird. Mit der Software können der virtuellen Kamera Objektivbrennweiten, Blende und Schärfeeinstellung zugeordnet werden, so dass ein massstabgetreuer Bildeindruck berechnet werden kann. Durch die Echtzeitleistung des Computers können auch Kamerabewegungen praktisch verzögerungsfrei dargestellt werden. > Tracking > Previs > Motion Capture
> Virtual Production
Location Scouting mit der VR-Brille, kollaborative Découpage mit Hilfe von Game Engines, Echtzeitsimulationen von VFX-Szenen während der Pre-Production: Der Begriff der Virtual Production umfasst eine Vielzahl von Werkzeugen, die alle auf der Echtzeit-Darstellung von 3D-Bildwelten basieren. Im Mittelpunkt der Virtual Production steht die virtuelle Kamera (> Virtual Camera). Sie ermöglicht den Einblick in den virtuellen Raum, der als 3D-Modell in einer Game Engine vorhanden ist. Je nach Kamerarichtung und -bewegung werden der Raum und die darin befindlichen Digital Assets (3D-Objekte, 3D-Modelle von Menschen etc.) in Echtzeit zu Bildern verarbeitet, wie wenn sich die die Kamera und die Kameraperson in einem realen Umfeld befinden würden. Die virtuelle Kamera hat häufig ein Gegenstück in der realen Welt, meistens eine getrackte Kamera mit Display oder ein iPad (vgl. dazu auch > Tracking). So kann sie wie eine reguläre Kamera bedient werden. Die Kameraperson kann aber auch mit einer Virtual-Reality-Brille direkt in den virtuellen Raum eintauchen. Als virtuelle Kamera dient dann ein Controller des VR-Systems, wobei das Display vor den Augen der Kameraperson emuliert wird. In beiden Varianten können die generierten Kamerabilder auch aufgezeichnet werden, so dass vor den Dreharbeiten bereits erste Schnittstudien hergestellt werden können.
Aufgrund der steigenden Computerleistungen und neuer Verfahren am Set, wie zum Beispiel der Einsatz von grossen LED-Walls, rückt die Zeit näher, in der nicht nur Vorvisualisierungen mit Virtual Production möglich sind, sondern auch definitive Aufnahmen, da die Effekte hochauflösend gerendert werden können (vgl. auch > In-Camera Effect).
> Links: Virtual Production Lion King / The Lion King 2019 – Making Of / Und eine Übersicht über das Thema, auch im Hinblick auf die Produktionsmöglichkeiten ausserhalb von Hollywood, bietet die Webseite nofilmschool.com
> Virtual Reality
Als virtuelle Realität (kurz: VR) gilt die Darstellung und gleichzeitige Wahrnehmung von digitalen 3D-Welten. Die simulierte Erfahrung kann der realen Welt entsprechen und auf fotorealistischen Aufnahmen (360°-Video oder > Fotogrammetrie) beruhen oder komplett mit computergenerierten Bildwelten gestaltet sein. Die bisher übliche Form der VR-Erfahrung beruht auf speziellen Brillen oder Headsets. Eine Person, die Virtual-Reality-Geräte verwendet, kann sich in der künstlichen Welt umsehen, sich darin bewegen und mit virtuellen Funktionen oder Gegenständen interagieren. Im Kontext von > Virtual Production wird VR eingesetzt, um eine direkte Erfahrung von fotorealistischen oder computergenerierten Filmsets zu ermöglichen. Dadurch kann die Szenenauflösung mit der > Virtual Camera oder auch die Lichtsetzung simuliert werden.
> Volumetric Capture (Videogrammetrie)
Volumetrische Aufnahmen basieren auf der > Fotogrammetrie, mit dem Unterschied, dass gleichzeitig mehrere Aufnahmen pro Sekunde gemacht werden. In speziellen Studios werden mit einer Vielzahl von räumlich angeordneten Videokameras die Daten bereit gestelt, um 24 (oder mehr) 3D-Modelle pro Sekunde zu berechnen. Das Verfahren wird auch Videogrammetrie genannt. Volumetrische Aufnahmen führen zu enorm hohen Datenmengen, die für die Echtzeit-Darstellung erheblich reduziert werden müssen. Momentan werden volumetrische Aufnahmen vor allem für Anwendungen im Bereich Virtual Reality oder Augmented Reality verwendet. So wird beispielsweise der «begehbare Film» für VR-Efahrungen möglich.
> Links: Volumetrisches Aufnahmestudio in Potsdam: Volucap / Bericht in den Tagesthemen / längerer Bericht auf 3sat
> HOME