Nvidia Instant NeRF: Verwandelt 2D-Fotos in 3D-Szenen

      Nvidia Instant NeRF: Verwandelt 2D-Fotos in 3D-Szenen

      Harry Potter lässt grüßen: Dank neuartiger KI-Funktionen von Nvidia könnt ihr innerhalb weniger Sekunden 2D-Fotos in 3D-Szenen verwandeln.

      Im Rahmen der firmeneigenen GTC-Messe hat Nvidia Instant NeRF vorgestellt. Die Technologie erlaubt es euch via eines neuronalen Netzwerks nun aus Fotos 3D-Szenen entwickeln zu lassen – und das innerhalb weniger Sekunden. Hierbei sagt das Netzwerk über einen Algorithmus vorher, wie Licht und Lichtfarben über weitere Teile eines virtuell erzeugten Raums fallen. Wie gut das funktioniert, könnt ihr euch in folgendem Beispielvideo anschauen.


      Durch die Wiedergabe des Inhalts werden eine Verbindung zum Anbieter hergestellt und personenbezogene Daten übertragen. Weitere Infos in unserer Datenschutzerklärung.

      Zwar sieht die Probandin etwas ge-„NeRFt“ aus, aber das Ergebnis kann es beinah mit einem 360-Grad-Motion-Capture wie in Hollywood aufnehmen.

      Dies wird durch drei Säulen der unmittelbaren neuronalen Grafikberechnung ermöglicht: Erstmal kommt ein Render-Trainings-Algorithmus zum Einsatz, der eine grobe Annäherung an das Bildmaterial erzeugen soll. Ein kleines neuronales Netzwerk sorgt dann für die vollständige Zusammensetzung der Szene. Das Encoding und Hochskalieren übernimmt ein weiteres neuronales Netzwerk. Als Resultat habt ihr eine über tausendfach schnellere Berechnung von 3D-Szenen, als mit bisher etablierten Methoden. Damit haben wir es potenziell mit einem echten Game-Changer zu tun.

      Instant-NeRF-Pillars

      David Luebke, seines Zeichens Nvidia Vice President Graphic Research, vergleicht die Berechnungsweise mit Bitmap-Bilddateien, da jedem Pixel ein Farbwert zugewiesen wird. Mit dem feinen Unterschied, dass es hier nun auf Basis von Probabilitäten passiert. Instant NeRF könnte ihm nach so wichtig für 3D-Berechnungen werden, wie es die JPEG-Kompression für die klassische 2D-Fotografie war.

      Neben dem Einsatz als private Scanning-Technik, könnte Instant NeRF auch für den Einsatz im Game-Development oder für das Training von selbstfahrenden Autos eingesetzt werden. Letztere könnten damit zum Beispiel „verstehen“ lernen, welche Formen verdeckte Objekte haben und wie sie sich im Raum verhalten.

      Noch tiefer in die Materie einsteigen (und euch sogar den Source-Code anschauen) könnt ihr hier.

      Wir sind auf jeden Fall ziemlich beeindruckt. Was für Anwendungsfälle könntet ihr euch für Instant NeRF vorstellen? Schreibt es uns im Kommentarbereich.

      Zum Shop: Gaming

      via: wccfTech, Nvidia (1) (2)

       

      Veröffentlicht von

      Großer Film- und Serien-Fan, der von Antonioni bis Tarkowski (fast) alles gesehen hat, was Kino und Fernsehen hergeben. Durch Super Nintendo und PS1 fand er Mitte der 90er seine Leidenschaft für PC- und Konsolenspiele. Zockt mittlerweile vornehmlich am selbstgebauten Gaming-PC und gelegentlich auch auf der PlayStation.

      Das könnte dich auch interessieren

      Schreibe einen Kommentar

      Pflichtfelder sind mit * markiert.