Um zukunftsorientierte, markt- und praxistaugliche Lösungen anzubieten, haben die Institute der Fraunhofer-Allianz Digital Cinema ihre Expertise in der Audio- und Videotechnik gebündelt und zeigen im Forschungsprojekt Spatial-AV erste Entwicklungen und Verfahren für ein intelligentes, modulares und multisensorisches Aufnahme- und Produktionssystem für immersive audiovisuelle Medien.
Auf der IBC 2013 zeigen die Institute erste Prototypenrealisierungen und weiterführende Ideen für neue Arbeitsabläufe in der Medienproduktion.
Kontakt: Fraunhofer-Allianz Digital Cinema, Dr. Siegfried Fößel
Der am Fraunhofer-Institut für Integrierte Schaltungen IIS entwickelte Low Complexity Codec passt Bilddatenströme flexibel an die verfügbare Infrastruktur und Bandbreiten an, ohne dass hohe Bildauflösung oder Dynamikumfang auf der Strecke bleiben. Mit dem Fraunhofer Low Complexity Codec können hochaufgelöste Bilder visuell verlustfrei, Bild für Bild, mit Kompressionsraten von 1:2 bis 1:8 komprimiert und somit über Standardleitungen übertragen werden. Der Codec ist auf extrem geringe Latenzzeit, hohen Datendurchsatz und geringer Logikbedarf ausgelegt. So wird es möglich, ihn in bereits vorhandene, programmierbare Bausteine zu integrieren oder kostengünstige Bausteine zu verwenden. Der Low Complexity Codec bietet die kostengünstige Alternative für Bildverarbeitungs- und übertragungssysteme in der professionellen Produktionstechnik und für Multimediaanwendungen
Kontakt: Fraunhofer IIS, Wolfgang Heppner
PROJEKT SPATIAL-AV
Das Lichtfeld-Aufnahmesystem des Fraunhofer IIS besteht derzeit aus einem Kamera-Array von 16 hochauflösenden HD-Kameras. In der Postproduktion können die Filmemacher das Material frei bearbeiten und die Szenen verändern, etwa den Blickwinkel – wie beim Matrix-Effekt, der den Akteur wie eingefroren in der Szene erscheinen lässt und bei dem sich die Kamera um das Objekt bewegt. Auch lässt sich der Blickwinkel verschieben oder erweitern, als wäre die Kamera bewegt worden, obwohl diese bei der Aufnahme stationär war: So lassen sich auch Szenenteile, die bei normaler Geradeausansicht verdeckt wären, in die Szene hereinnehmen. Gleichermaßen erlaubt das Mehr an Ansichten auch die virtuelle Veränderung der Kameraposition. Das Objekt kann – ohne die Position des Kamera-Arrays zu verändern – tiefer oder näher an den Betrachter herangerückt werden, womit der Kameramann den Vertigo-Effekt oder Dolly-Zoom-Effekt realisieren kann.
Kontakt: Fraunhofer IIS, Frederik Zilly
PROJEKT SPATIAL-AV
Das Fraunhofer IIS zeigt eine neue Art von HDR-Aufnahmetechnik, welche die Bildaufnahme unter normalen Tageslichtbedingungen erheblich verbessert. Die am IIS entwickelte Methode der unregelmäßigen Abtastung erlaubt es, mit nur einer Aufnahme unter Zuhilfenahme von Algorithmik einen großen Dynamikbereich zwischen den hellsten und dunkelsten Bereichen des Bildes aufzunehmen. Großer Vorteil dieser Methode ist, dass Kameras mit dieser Aufnahmetechnik extreme Lichtsituationen wie starke Schlaglichter oder tiefe Schatten optimal erfassen können. Diese HDR-Aufnahmemethode bietet daher größere Freiheitsgerade auch noch in der Postproduktion, da der volle Dynamikbereich der aufgenommenen Szene genutzt werden kann. Das Fraunhofer IIS stellt auf der IBC2013 ein weiteres Verfahren für HDR im Bewegtbildbereich vor. Hierbei wird ein so genanntes Kamera-Array verwendet, das HDR auch ohne speziellen Sensor durch Kombination mehrerer Kameras möglich macht.
Kontakt: Fraunhofer IIS, Dr. Joachim Keinert
Das Fraunhofer HHI präsentiert eine neue verkleinerte OmniCam – ein System zur Erfassung höchst¬auflösender 360°-Panorama-Videos in Echtzeit. Das kompakte und handliche Kamerasystem besteht aus einem skalierbaren, auf Spiegel basierenden Multikameraträger für die Aufnahme von immer¬siven 3D-Panorama-Videos in Ultra-High-Definition. Diese Videos werden im Anschluss mit einem flexiblen Multiprojektionssystem gezeigt, das den Zuschauern ein immersives Betrachtungserlebnis vermittelt – ganz als ob sie selbst mitten im Geschehen wären.
Kontakt: Fraunhofer HHI, Christian Weissig
PROJEKT SPATIAL-AV
Die Stereo-zu-Multiview Echtzeitkonvertierung ermöglicht die Wiedergabe von 3D Blu-ray oder beliebigen anderen Stereo-3D-Inhalten auf autostereoskopischen Displays. Aufwendige Offline-Konvertierung wird überflüssig und das 3D-Erlebnis kann persönlichen Vorlieben angepasst werden. Die Tiefenschätzung, das Herzstück der Stereo-zu-Multiview-Konvertierung, ist als festverdrahteter IP Core erhältlich – geeignet für FPGA- und ASIC-Implementierung. Zur Evaluation steht eine FPGA-Referenz-Implementierung zur Verfügung.
Kontakt: Fraunhofer HHI, Christian Riechert
PROJEKT SPATIAL-AV
Die am Fraunhofer IDMT entwickelten Werkzeuge zur räumlichen Audioproduktion unterstützen Tonschaffende bei der Realisierung von klanglich hochwertigen und räumlich präzisen Audioaufnahmen. Der Mikrofonmanager bietet dem Tonmeister neue Möglichkeiten zur schnellen und intuitiven Kontrolle der Audioszene selbst bei einer sehr hohen Anzahl an Mikrofonen. Mit SpatialSound Headphone präsentiert das Fraunhofer IDMT ein interaktives System zur 3D- Audiowiedergabe für Kopfhörer.
Kontakt:Fraunhofer IDMT, Christoph Sladeczek
PROJEKT SPATIAL-AV
Die Herausforderung bei der Aufnahme von Live-Events liegt im schnellen und zuverlässigen Datentransfer von verschiedenen Kameras in den Übertragungs- und Regieraum. Der dazu notwendige Berg an Spezialkabeln und Übertragungswegen, um die Daten zeitnah zur Verfügung zu stellen, ist immens. Daher arbeiten Wissenschaftler des Fraunhofer-Institut für Integrierte Schaltungen an einer neuen Übertragungsmethode, auf der Basis skalierbarer Kompressionsformate, wie z.B.: JPEG 2000. Ziel ist es, Spezialkabel durch kostengünstige Standard-Komponenten zu ersetzen. Grundidee dieser Entwicklung ist es, dass zu einem bestimmten Zeitpunkt, nicht alle Kameras ihre Bilddaten in voller Auflösung und Qualität an die Regie senden müssen. Normalerweise überträgt jede Kamera – selbst wenn sie nicht gerade die Hauptaufnahme liefert – kontinuierlich viele, hoch aufgelöste Bilder über die Verbindung in die Regie. Bei der „Adaptive Content Streaming“- Methode des IIS würden die Daten aller eingesetzten Kameras zunächst in JPEG 2000 verlustfrei kodiert, die Hauptkamera überträgt alle Daten im JPEG 2000 Format, alle anderen aktiven Kameras übertragen nur eine Vorschau der Bilder in den Regieraum. Dank der Skalierbarkeit des JPEG 2000-Formats können alle hochauflösenden Bilddaten kameranah gespeichert werden und sind bei Bedarf ohne mehrfaches Komprimieren und Dekomprimieren jederzeit abrufbar. Großer Vorteil dieser Methode ist die Verwendung kostengünstiger Übertragungswege.
Kontakt: Fraunhofer IIS, Heiko Sparenberg
Die intelligente Kamera INCA, eine Entwicklung des Fraunhofer IIS, kombiniert zum einen eine hohe Prozessorleistung mit einer kompakten Bauweise und ermöglicht zum anderen durch eine Vielzahl an Schnittstellen (HDMI, Ethernet, HD-SDI) ein Höchstmaß an individuellen Anwendungen. Die INCA Eagle Cam stellt dabei eine spezielle Anpassung der Kamera an kundenspezifische Anforderungen dar. Zur Realisierung eines Naturfilms wurde INCA direkt an den Körper und an das Flugverhalten eines Adlers angepasst.
Kontakt: Fraunhofer IIS. Wolfgang Thieme
Im gemeinsamen Verbundprojektes ASP (Automated Stereo Production), das durch das Bundesministerium für Wirtschaft und Technologie gefördert wird, entwickeln die Projektpartner (Fraunhofer HHI, Fraunhofer IIS, ZEISS, P+S Technik und KUK Film) ein eingebettetes 3D Stereo Kameraassistenzsystem für die autarke Verwendung in den Bereichen Broadcast und Point-of-View Anwendungen. Ziel des Projektes ist es die Aufnahmekosten zukünftiger 3D-Stereoaufnahmen ohne Qualitätsverluste zu reduzieren.
Kontakt: Fraunhofer IIS, Stephan Gick
Fraunhofer-Gesellschaft