Vilka fördelar kan ta med det neurala nätverket för film, tv-spel och virtuella verkligheten

I och Med utvecklingen av teknik för neurala nätverk och maskininlärning, och att utvidga deras tillämpningsområde. Om den tidigare neurala nätverk som används uteslutande för att utföra komplexa matematiska, medicinska, fysikaliska, biologiska, beräkningar och prognoser, men nu har dessa tekniker är att få breda popularitet i mer "vardagliga" miljöer – i fält av underhållning. Gör bara de första stegen i denna riktning, de kan visa överraskande och ibland till och med enastående resultat. Dagens låt oss undersöka några belysande exempel.

Den Process av remastering videon är så komplext och tidskrävande att många av de mästerverk av världen klassiker vi aldrig har sett med ny, modern, tydlig och saftig bild. Men världen är full av intelligenta fans och entusiaster som är väl insatt i ny teknik, i synnerhet tekniker för neurala nätverk och lärande, med hjälp av vilken du kan uppnå fantastiska resultat även hemma. Till exempel, en YouTube-användare Stefan våmmen alias CaptRobau bestämde sig för att demonstrera några av funktionerna i neurala nätverk i behandlingen video av den gamla sci-Fi-serien.

Tidigare i hans arbete är Remako Mod — "HD-remake" av den klassiska och mycket populära Japanska ROLLSPEL och Final Fantasy VII kallas. För detta har han använt AI-algoritm AI Gigapixel, som hade möjlighet att skala upp bilden till den ursprungliga bilden 4 gånger och flytta över den i HD-upplösning utan några betydande förändringar till det ursprungliga art design. Således, medan du kommer att få vänta ytterligare ett decennium till den tid när den Japanska utvecklare och utgivare av dataspel Square Enix kommer att släppa officiellt remaster, som förmodligen är en av de bästa delarna av detta spel serien, kan du prova en mod Stefan våmmen dig själv genom att ladda ner det .

Genom det sätt, som nyligen teknik av neurala nätverk för remastering gamla spel och föra dem till en mer relevant och modernt utan att ändra den totala ursprungliga konceptet har blivit en riktig trend bland de olika moddare. Till exempel, för inte så länge sedan vi berättade om ESRGAN teknik (Enhanced Super Resolution Generativ Kontradiktoriska Nätverk), som har implementerat teknik för skalning av bilder med en 2-8-faldig ökning i kvalitet. Algoritm "mata" den ursprungliga bild med låg upplösning, då är det inte bara ökar den naturliga upplösningen av det senaste, men också ger högre bildkvalitet, Podrezova verklighetstrogna detaljer och göra texturen "mer naturligt".

Jämföra kvaliteten på de material: till vänster den ursprungliga strukturen från spelet Morrowind, till höger behandlas av neurala nätverk

Tecken från Doom (vänster — rätt — var)

bakgrundsprocesser i spelet Resident Evil 3

För att Läsa mer och se exempel som du kan följa .

Hur som helst, i mellan remastered "Sjunde Finalen" Stefan våmmen bestämde mig för att göra ett annat projekt som använder samma teknik för lärande, men för hantering av ramar klassiska sci-Fi-serie från 90-talet. Som objekt för experiment våmmen utvalda ": deep space nine."

Skalning "levande bild" av en TV-serie på komplexiteten mycket olika skala i förväg ofrendering bild Final Fantasy VII, författaren konstaterar, så det slutliga resultatet ser mycket bättre källmaterial i låg upplösning, men bilden är fortfarande långt ifrån perfekt som du skulle kunna drömma om att någonsin eftersom utseendet på marknaden första Blu-ray-spelare. Ibland visas på skärmen en liten "artefakter". Men, återigen, generellt ser det mer än värdig. Och, i Allmänhet, se för dig själv.

För detta projekt våmmen också används algoritmen AI Gigapixel, som var utbildade för att redigera bilder baserat på riktiga foton. Författaren konstaterar att den nya bilden togs i 1080p och 4k, men eftersom jag för närvarande inte har någon TV eller monitor med inbyggd 4K-upplösning, för att kunna bedöma 4K alternativ, han kan inte.

Sorry att se showen i Full HD är omöjligt. Behandlingen av källmaterialet skulle ta mycket lång tid, så våmmen för demonstration bara används för de enskilda ramar av olika serier. Enligt honom, att han startade det här projektet för en anledning – för att visa att det faktiskt är möjligt. Enligt honom, ett helt team av professionella som arbetar för en större tv-bolaget och som har en mer lämplig och kraftfull sådan datorutrustning som kommer att kunna klara denna uppgift mycket bättre.

Med Hjälp av neurala nätverk för att förenkla behandlingen av gamla bilder från tv-spel och filmer är inte de enda områden där sådan teknik har möjlighet att visa sina talanger. I den moderna världen, där allt mer populära panorama-kamera, som kan producera en 360 graders vinkel, och headsetet av virtuell verklighet, utvecklare började aktivt att undersöka möjligheterna av panorama fotografi.

En ny utveckling i denna riktning är den neurala nätverk kan tal panoramautsikt statiskbild. Författarna är experter på området maskininlärning från mit, Columbia University och George Mason University.

Denna algoritm anger den typ av miljö och objekt i bilder och sedan väljer och arrangerar ljud från den databas som används i enlighet med en rumslig beräkning av avstånd till sina källor i denna bild. Tack vare denna panoramabild visas realistiska och tredimensionella ljud, så att ett helt nytt sätt att utvärdera den presenterade bilden.

Enligt utvecklarna av detta neurala nätverk, tekniken skulle finna intresse bland utvecklare av VR innehåll (filmer och spel). Senare i detta fall inte lägga alla ljud på en panorama bild manuellt, det neurala nätverket kommer att kunna göra det ensam.

Anmäl dig till vårt . Där kan du hitta material som inte publiceras på webbplatsen.