Welche Vorteile bringen kann нейросети für Film, Videospiele und virtuelle Realität

Mit der Entwicklung der Technologie нейросетей und maschinelles lernen, erweitert und der Umfang Ihrer Anwendungen. Wenn früher нейросети wurden ausschließlich komplexe mathematische, medizinische, physikalische, biologische Berechnungen und Prognosen, jetzt diese Technologien gewinnen große Popularität in mehr «down to Earth» Umfeld – im Bereich der Unterhaltung. Macht nur die ersten Schritte in diese Richtung, Sie sind bereits in der Lage zu demonstrieren erstaunliche und manchmal sogar herausragende Ergebnisse. Heute betrachten wir ein paar anschauliche Beispiele.

Der Prozess ремастеринга Video ist so Komplex und времязатратный, dass viele Meisterwerke der Klassiker, die wir vielleicht nicht gesehen hätte mit einem neuen, modernen, klaren und saftige Bild. Aber die Welt ist voll von gescheiten Fans und Enthusiasten, die sehr versiert in den neuen Technologien, insbesondere Technologien нейросетей und des maschinellen Lernens, mit deren Hilfe man erstaunliche Ergebnisse erzielen, auch zu Hause. Zum Beispiel YouTube-Nutzer Stefan Rumen mit dem Pseudonym CaptRobau hat sich dazu entschieden, einige Funktionen нейросетей Video in der Behandlung der alten Science-Fiction-Serie.

Seine frühere Arbeit ist Remako Mod — «HD-Remake» der klassischen und sehr beliebten japanischen RPG Final Fantasy VII genannt. Dazu benutzte er die KI-Algorithmus AI Gigapixel, mit dessen Hilfe konnte die Skalierung des Bildes des Originals in 4 mal, indem Sie es in HD-Auflösung ohne wesentliche änderungen in der ursprünglichen Art-Design. So, während Sie warten auf die nächste Dekade bis zu dem Moment, als der japanische Entwickler und Publisher von Computerspielen Square Enix offiziell den Release Remastered, wohl einer der besten Teile der Spiele-Serie, können Sie versuchen Maud Stephan Румена selbst, wenn Sie es herunterladen .

By the way, in letzter Zeit Technologie нейросетей für ремастеринга ältere Spiele und bringen Sie auf einen aktuellen und modernen Sinn ohne änderungen der Allgemeinen ursprüngliche Konzept war ein echter Trend unter den verschiedenen Modder. Zum Beispiel, nicht so lange her, da berichteten wir über die Technologie ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), mit deren Hilfe umgesetzt werden Technologien Skalierung von Bildern mit 2-8-facher Vergrößerung die Qualität. Algorithmus «fütterte» das ursprüngliche Bild mit niedriger Auflösung, nach denen er erhöht nicht nur die ursprüngliche Auflösung des letzteren, sondern auch die Bildqualität verbessert, подрисовывая realistische Details und textur machen «natürlicher».

Vergleich der Qualität der Texturen: Links die Original-textur aus dem Spiel Morrowind, rechts – behandelte neuronales Netz

Charakter aus Doom (Links — war, rechts — geworden)

die Verarbeitung des Hintergrunds im Spiel Resident Evil 3

Lesen mehr Details und Beispiele können indem Sie .

Wie dem auch sei, in den Pausen zwischen ремастерингом «der Siebente Finalki» Stefan Rumen sich entschieden, sich einem anderen Projekt zu verwenden die gleiche Technologie des maschinellen Lernens, aber bereits für den Umgang mit Bildern der klassischen Science-Fiction-Serie der 90er Jahre. Als Objekt für Experimente Rumen gewählt «: Deep Space Nine».

Skalieren «Live View» - TV-Serie in Ihrer Komplexität sehr Verschieden von der Skalierung im Voraus отрендеренного Bild von Final Fantasy VII, bemerkt der Autor, deshalb das endgültige Ergebnis sieht zwar deutlich besser Ausgangsmaterialien in niedriger Auflösung, aber das Bild ist immer noch weit entfernt von dem ideal, von dem Sie noch träumen konnten seit der Markteinführung der ersten Blu-ray-Playern. Gelegentlich erscheinen auf dem Bildschirm kleine «Artefakte». Aber, wie gesagt, insgesamt sieht alles mehr als verdient. Und, im Allgemeinen, sehen Sie selbst.

Für dieses Projekt Rumen verwendete Algorithmus AI Gigapixel, die ausgebildet wurde, Bearbeiten Bilder auf der Grundlage von realen Fotos. Der Autor stellt fest, dass das neue Bild wurde in 1080p und 4k, aber da Румена keinen Fernseher oder Monitor mit einer nativen 4K-Auflösung, adäquat auf die 4K-Option kann es nicht.

Leider sehen ganze Serien in Full HD-Qualität nicht möglich. Der Prozess der Verarbeitung des Ausgangsmaterials nur würde sehr viel Zeit, deshalb Rumen für die Demonstration verwendete nur einzelne Bilder aus verschiedenen Serien. Nach seinen Worten hat er sich mit diesem Projekt nur aus einem Grund – um zu zeigen, dass dies tatsächlich möglich ist. Seiner Meinung nach, ein ganzes Team von Fachleuten arbeitet in einem großen TV-Unternehmen und hat in seiner Verfügung über eine geeignete und leistungsfähige für solche arbeiten EDV-Anlagen in der Lage, diese Aufgabe zu bewältigen viel besser.

Die нейросетей zur Vereinfachung der Bedienung für die Verarbeitung von alten Bildern aus Videospielen und Filmen sind nicht die einzigen Bereiche, in denen solche Technologien sind in der Lage, um Ihre Talente zu zeigen. In der heutigen Welt, wo die immer grere popularitt erwerben überblicks-Panorama-Kamera, die fähig sind, produzieren mit einem Winkel von 360 Grad, und auch die Virtual-Reality-Headsets, die Entwickler haben sich aktiv zu erkunden das Potenzial der Panorama-Fotografie.

Eine neuere Entwicklung in dieser Richtung ist нейросеть, die fähig ist, zu äußern Panorama-statischeBild. Ihre Autoren sind Spezialisten auf dem Gebiet des maschinellen Lernens aus den am mit, Columbia University und der George-Maurer-Universität.

Erstellten Algorithmus bestimmt den Typ der Umgebung und Objekte auf Fotos und dann wählt und setzt die Klänge aus der Datenbank verwendet, in übereinstimmung mit der Berechnung der räumlichen Distanz bis zu Ihren Quellen in diesem Bild. Dadurch Panoramabild erwirbt und realistische Surround-Sound ermöglicht eine ganz neue Art bewerten das Vorgestellte Bild.

Nach Angaben der Entwickler dieser нейросети, Technologie finden kann, das Interesse unter den Entwicklern von VR-Inhalten (Filme und Spiele). Der Letzte in diesem Fall nicht verhängen müssen alle sounds auf ein Panoramabild manuell, нейросеть in der Lage, dies allein zu tun.

Abonniere unseren . Dort finden Sie Materialien, die nicht auf der Website veröffentlicht.