AMD FidelityFX Super Resolution (FSR): Die Upscaling-Methode ist in den ersten Spielen verfügbar

Hier findet ihr die entsprechenden Kommentare - inkl. Link zur News!

Moderatoren: Moderatoren, Redakteure

Benutzeravatar
Temeter 
Beiträge: 18065
Registriert: 06.06.2007 17:19
Persönliche Nachricht:

Re: AMD FidelityFX Super Resolution (FSR): Die Upscaling-Methode ist in den ersten Spielen verfügbar

Beitrag von Temeter  »

NewRaven hat geschrieben: 25.06.2021 15:16
Temeter  hat geschrieben: 25.06.2021 00:39 ...
Uhhh... was?! Natürlich kreiert die KI keine Details, dass ist auch überhaupt nicht ihr Job. Ihr Job ist es, anhand höher aufgelöster Vorlagen zu erkennen, wo Details aus höher aufgelösten Texturen, die ja vorliegen (beschränken wir uns erstmal der Einfachheit ruhig darauf) in runtergerechneten Texturauflösungen korrekt hinpassen, wenn diese Textur skaliert auf ein Mesh gelegt wird. Und mehr als diese Angaben braucht das "neuronale Netz" dann auch nicht generieren, dass muss da nichts "erfinden", dass muss auch nicht lokal laufen - das muss einfach nur definieren können, wo welche Details aus höher aufgelösten Texturen auch bei den dann verwendeten niedriger aufeglösten Texturen noch noch sichtbar wären, wenn man eine Textur in dieser Auflösung über ein Model in der Spielwelt stülpt - was sie im Regelfall skaliert - den Rest macht die DLSS-Implementierung im Spiel selbst, sprich die Engine. Die Leistung von DLSS 2.x - und eben der KI dahinter, ist eben eher, dass es, um diese "Anweisungen" zu geben eben nicht mehr unzählige Vorlagen von einem konkreten Spiel für ein konkretes Spiel braucht, um zu wissen, wo sie welches Detail ergänzen kann und wo nicht, sondern das eben aus der Masse von Daten vorausberechnen kann.

Über welchen Part diskutieren wir jetzt eigentlich? Darüber, dass eine niedrigere Scaling-Textur in 720p weniger Details respektive Bildinformationen hat, als eine native Textur in 1440p. Darüber, dass eine 4k Textur sichtbare Details verliert, wenn man sie einfach 720p runterrechnet? Darüber, dass es möglich ist, diesem 720p Bild gezielt Details wieder hinzuzufügen, wenn man die 4k Vorlage kennt (oder KI-berechnet "erahnt") und das, mit diesen Details wieder hinzugefügt, ein Bild in Bezug auf diese rekonstruierten Dinge in eben diesen Details (und nur in denen) besser aussehen kann als ein 1080p-Bild, bei dem man diese Details eben nicht wieder hinzugefügt hat? Ich bin etwas... irritiert. Und nein, natürlich ist das nicht "super präzise" weil dieses "Anweisungssystem" eben immernoch auf berechneten Wahrscheinlichkeiten beruht - deshalb ja eben auch KI.

Auf deinem PC läuft keine KI. Und das ist im Grunde auch keine KI, sondern einfach nur ein stinknormales, neuronales Netzwerk. Ein neuronales Netzwerk ist einfach eine erstaunlich simple (und zugleich mächtige) Technik, mit denen man Muster erkennen und vergleichen kann. Das "KI" zu nennen ist im Grunde Marketing-bullshit.
Das neuronale Netzwerk läuft bei Nvidia-Devs, um beim DLSS-Code mitzuhelfen. Auf deinem PC is NICHTS von dem Netzwerk, sondern einfach nur die Daten, die von dem Netzwerk ausgespuckt und in den Code integriert worden sind.

Deswegen sage ich, dass ich teils den Eindruck habe, als ob ihr aufs Marketing reingefallen sind. Was übrigens auch kein persönlicher Angriff sein soll, denn all die Informationen zu DLSS sind oft extrem irrefüherend. Selbst AMDs FSR ist teils ein Mix aus absurden Behauptungen und dann Anmerkungen im Kleingedruckten, die sich praktisch dafür entschuldigen.

Mich hat da auch einiges verwirrt, und ich kann eigentlich nur sagen, dass viele Behauptungen schlichtweg keinen Sinn ergeben. Allein grundsätzliche Skepsis gegenüber Werbung und technischen Wunderversprechen hat mich davor bewahrt, darauf zu sehr reinzufallen.


Wie auch immer, was ich Leons Link entnehme, wo einer endlich mal eine substanzielle Erklärung liefert, ist das DLSS 2.0 eben nahezu gar nichts macht, von dem, was du da sagst. DLSS 1.0 war wohl tatsächlich ambitionierter, aber da man einfach nicht Details erfinden kann, hat es eben nicht sonderlich gut funktioniert und oft schlechtere Ergebnisses als das vergleichsweise primitivere FSR geliefert.

Falls die Erklärung im Link also korrekt ist, dann basiert DLSS 2.0 dagegen fast ausschließlich auf temporalen Upscaling. Sprich, wenn du die Kamera bewegst, dann "wiederverwertet" es alte Pixel. Grundsätzlich gesagt, du drehst dich ein winziges bisschen nach rechts, die alten Pixel wandern nach links. Das hochskalierte Bild ist dann zusammengesetzt aus den alten und neuen Pixeln. Was geht, weil beim hochskalieren eben ein Haufen Pixel "kreativ" ausgefüllt werden müssen.

Da kann durchaus ein bisschen komplexere Technik dahinterstecken; schließlich nutzt Anti-Aliasing seit jeher "edge detection", um Kanten zu erkennen, und DLSS 2.0 analysiert anscheinend ganze Pixelwolken dafür (Mustererkennungg von Pixeln, KEINE echte Objekterkennung).



Was mich gerade nervt ist, dass Nvidia mit diesen dämlichen Versprechen herkommt, die teils völlig irreführend sind. Das wäre an sich schon dumm genug, aber DLSS 2 kann tatsächlich verdammt gute Ergebnisse liefern, wo man den Unterschied kaum noch erkennt. Wenn überhaupt ist das der Grund, warum so mancher tatsächlich der Werbung glaubt.
Ehrlichkeit hätte vermutlich besser funktioniert und sehr viel weniger Verwirrung erzeugt. Aber ist halt Unternehmenswerbung, diese Leute sind praktisch pathologische Lügner von Beruf.
Zuletzt geändert von Temeter  am 25.06.2021 15:49, insgesamt 3-mal geändert.
Benutzeravatar
NewRaven
Beiträge: 2555
Registriert: 08.12.2006 04:15
Persönliche Nachricht:

Re: AMD FidelityFX Super Resolution (FSR): Die Upscaling-Methode ist in den ersten Spielen verfügbar

Beitrag von NewRaven »

Sag mal, jetzt ganz ernsthaft... liest du überhaupt auch nur im allergeringsten, was die Leute schreiben? Niemand, wirklich niemand, sagt, dass auf dem lokalen PC eine KI läuft. Im Gegenteil... ich sag sogar noch explizit, dass es die auch gar nicht braucht, weil die KI nur die Daten berechnet hat, die die Spielengine dann nutzt und sie für mehr überhaupt nicht nötig ist. Die KI war/ist nur da um um aus x tausend sehr hoch aufgelösten Bildern dann "Gemeinsamkeiten" zu finden und dem Spiel einen "Plan" aufzumalen (der mit dem DLSS-Profil des jeweiligen Spiels im Treiber auf deinem System landet), der der der Engine dann am Ende sagt "hier, das sieht aus wie x... pinsel das da hin, auch wenn KI-Buddy damals nur geschätzt hat, dass es das exakt Gleiche ist, als KI-Buddy den "Nutzungsplan" für dieses spezifische Spiel ausgespuckt hat".
Zuletzt geändert von NewRaven am 25.06.2021 15:53, insgesamt 4-mal geändert.
Hier könnte Ihre Werbung stehen...
Benutzeravatar
Temeter 
Beiträge: 18065
Registriert: 06.06.2007 17:19
Persönliche Nachricht:

Re: AMD FidelityFX Super Resolution (FSR): Die Upscaling-Methode ist in den ersten Spielen verfügbar

Beitrag von Temeter  »

NewRaven hat geschrieben: 25.06.2021 15:45 Sag mal, jetzt ganz ernsthaft... liest du überhaupt auch nur im allergeringsten, was die Leute schreiben? Niemand, wirklich niemand, sagt, dass auf dem lokalen PC eine KI läuft. Im Gegenteil... ich sag sogar noch explizit, dass es die auch gar nicht braucht, weil die KI nur die Daten berechnet hat, die die Spielengine dann nutzt und sie für mehr überhaupt nicht nötig ist. Die KI war/ist nur da um um aus x tausend sehr hoch aufgelösten Bildern dann "Gemeinsamkeiten" zu finden und dem Spiel einen "Plan" aufzumalen, der der der Engine dann am Ende sagt "hier, das sieht aus wie x... pinsel das da hin, auch wenn KI-Buddy damals nur geschätzt hat, dass es das exakt Gleiche ist, als KI-Buddy den Nutzungsplan für dieses spezifische Spiel ausgespuckt hat".
Es ist halt schwer, durch eine schlechte Erklärung durchzublicken. Ziemlich unsinnig, dass du dir den Teil jetzt als Totschlagargument rauspickst, wenn alles danach eigentlich die relevantere Erklärung ist.

Du beschreibst ja nicht einmal ansatzweise, was denn genau diese "Gemeinsamkeiten" sein sollen. Oder was da für "Details" verglichen werden; das hört sich in der Tat alles nach Magie an.
Und da DLSS 2.0 hauptsächlich auf temporalen Upscaling basiert, was in deiner Erklärung überhaupt nicht vorkommt, kann sie eben nicht mal ansatzweise die Technik erklären.
Benutzeravatar
NewRaven
Beiträge: 2555
Registriert: 08.12.2006 04:15
Persönliche Nachricht:

Re: AMD FidelityFX Super Resolution (FSR): Die Upscaling-Methode ist in den ersten Spielen verfügbar

Beitrag von NewRaven »

Temeter hat geschrieben: 25.06.2021 15:56 Du beschreibst ja nicht einmal ansatzweise, was denn genau diese "Gemeinsamkeiten" sein sollen. Oder was da für "Details" verglichen werden; das hört sich in der Tat alles nach Magie an.
Diese "Gemeinsamkeiten" sind Bildinformationen... die Wahrscheinlichkeit anhand von einer Handvoll Pixeln mit einer guten Quote richtig zu erraten, was als Nächstes kommt. Ich versuch nochmal was anderes. Nehmen wir diese kleine Zeichenfolge:

._/-=:._/-=:._/-=:._/-

ich bin sicher, du kannst die Reihe aus den Informationen, die du daraus hast, in beliebiger Länge fortsetzen. Und das ist das, was ein normaler Upscaler auch tut. Nun hast du aber - weil durch die niedrigeren Auflösungen ja Bildinformationen verloren gehen, nur noch diese Zeichen zur Verfügung:

._=:._=:._=:

ein normaler Upscaler kann hier erstmal nicht sagen, was fehlt und stellt einfach das dar, was er kennt. Nun hat nVidia aber seiner KI 24000 Zeichenfolgen gezeigt und in 23738 davon kam nach dem Unterstrich ein Slash... und in weiteren 12734 davon kam nach diesem Slash ein Minus. Die KI hat nun also eine "hohe Wahrscheinlichkeit" anzunehmen, dass ein Slash und ein Minus an genau dieser Stelle fehlen und fügt eben diese Daten wieder ein. Dem Spiel wird dann eben einfach gesagt "immer wenn du ._=: darstellst, gehört da ein /- an Stelle x dazwischen" und fertig. Es ergänzt eben die Details, die durch die niedrigere Texturauflösung verloren gingen. Manchmal irrt es sich - und deshalb sah man halt auch manchmal in der Ferne ganz klein ein Spinnennetz, dass einen Lüftungsschacht verschloss statt einem Gitter - insbesondere gabs solche kleinen Detailfehler mit DLSS 1.x, aber mittlerweile ist die Quote halt recht gut. Und das ist keine wirklich hochkomplexe Wissenschaft in seiner Grundlage, es ist sogar einfacher in der Theorie, als es beispielsweise Anti-Aliasing ist... im Prinzip machen alle KI-gestützen Upscaler im Restorationsprozess genau das... egal ob es ein alter Film ist, der mit diesen Methoden auf moderne Auflösungen angepasst wurde und dessen Originalmaterial nicht mehr vorlag oder ein so von Moddern generiertes Textur-Pack. Keine Magie. Die Kunst bei einem Game ist halt eben - neben der riesigen zu analysierenden Datenmenge, natürlich... die Wahrscheinlichkeit möglichst hoch zu treffen.

Das temporale Upscaling hingegen hat damit nicht direkt was zu tun... das gibt einfach noch weitere "zusätzliche Infos" die es eben aus anderen, idealerweise detailreicheren Frames entnommen hat. Auch hier spielt eine "Wahrscheinlichkeit" mit rein, aber dazu braucht man eben keine KI, weil alles irgendwie ja doch da ist, kein Zeichen fehlt komplett... es werden am Ende auch nur Informationen - hoffentlich richtig - von anderen Frames (also im Kern vorliegende Daten) ergänzt. Da wird im Kern nur gemacht "okay, es war eben da, die Chance ist hoch, dass es jetzt immernoch da ist" :mrgreen: In meinem Beispiel wäre das vielleicht etwas wie... "ignoriere die Fehler und vervollständige diese Reihe":

._/-=:._/-=:._-=:._/-=:._/=:._/-=:._/-=:

Schwieriger, keine Frage, aber machbar... und deshalb auch hübscher als das automatische Upscaling eines TV-Geräts von 1998 :lol:
Zuletzt geändert von NewRaven am 25.06.2021 20:02, insgesamt 15-mal geändert.
Hier könnte Ihre Werbung stehen...
Heliosxy
Beiträge: 122
Registriert: 01.12.2011 13:42
Persönliche Nachricht:

Re: AMD FidelityFX Super Resolution (FSR): Die Upscaling-Methode ist in den ersten Spielen verfügbar

Beitrag von Heliosxy »

AS Sentinel hat geschrieben: 25.06.2021 08:31 muss mal dumm fragen. schließt "AMD Radeon 5000/5000M Serie" auch die 5700xt ein?
Ja.
Benutzeravatar
Temeter 
Beiträge: 18065
Registriert: 06.06.2007 17:19
Persönliche Nachricht:

Re: AMD FidelityFX Super Resolution (FSR): Die Upscaling-Methode ist in den ersten Spielen verfügbar

Beitrag von Temeter  »

NewRaven hat geschrieben: 25.06.2021 19:01Diese "Gemeinsamkeiten" sind Bildinformationen... die Wahrscheinlichkeit anhand von einer Handvoll Pixeln mit einer guten Quote richtig zu erraten, was als Nächstes kommt. Ich versuch nochmal was anderes. Nehmen wir diese kleine Zeichenfolge:

._/-=:._/-=:._/-=:._/-

ich bin sicher, du kannst die Reihe aus den Informationen, die du daraus hast, in beliebiger Länge fortsetzen. Und das ist das, was ein normaler Upscaler auch tut. Nun hast du aber - weil durch die niedrigeren Auflösungen ja Bildinformationen verloren gehen, nur noch diese Zeichen zur Verfügung:

._=:._=:._=:

ein normaler Upscaler kann hier erstmal nicht sagen, was fehlt und stellt einfach das dar, was er kennt. Nun hat nVidia aber seiner KI 24000 Zeichenfolgen gezeigt und in 23738 davon kam nach dem Unterstrich ein Slash... und in weiteren 12734 davon kam nach diesem Slash ein Minus. Die KI hat nun also eine "hohe Wahrscheinlichkeit" anzunehmen, dass ein Slash und ein Minus an genau dieser Stelle fehlen und fügt eben diese Daten wieder ein. Dem Spiel wird dann eben einfach gesagt "immer wenn du ._=: darstellst, gehört da ein /- an Stelle x dazwischen" und fertig. Es ergänzt eben die Details, die durch die niedrigere Texturauflösung verloren gingen. Manchmal irrt es sich - und deshalb sah man halt auch manchmal in der Ferne ganz klein ein Spinnennetz, dass einen Lüftungsschacht verschloss statt einem Gitter - insbesondere gabs solche kleinen Detailfehler mit DLSS 1.x, aber mittlerweile ist die Quote halt recht gut. Und das ist keine wirklich hochkomplexe Wissenschaft in seiner Grundlage, es ist sogar einfacher in der Theorie, als es beispielsweise Anti-Aliasing ist... im Prinzip machen alle KI-gestützen Upscaler im Restorationsprozess genau das... egal ob es ein alter Film ist, der mit diesen Methoden auf moderne Auflösungen angepasst wurde und dessen Originalmaterial nicht mehr vorlag oder ein so von Moddern generiertes Textur-Pack. Keine Magie. Die Kunst bei einem Game ist halt eben - neben der riesigen zu analysierenden Datenmenge, natürlich... die Wahrscheinlichkeit möglichst hoch zu treffen.

Das temporale Upscaling hingegen hat damit nicht direkt was zu tun... das gibt einfach noch weitere "zusätzliche Infos" die es eben aus anderen, idealerweise detailreicheren Frames entnommen hat. Auch hier spielt eine "Wahrscheinlichkeit" mit rein, aber dazu braucht man eben keine KI, weil alles irgendwie ja doch da ist, kein Zeichen fehlt komplett... es werden am Ende auch nur Informationen - hoffentlich richtig - von anderen Frames (also im Kern vorliegende Daten) ergänzt. Da wird im Kern nur gemacht "okay, es war eben da, die Chance ist hoch, dass es jetzt immernoch da ist" :mrgreen: In meinem Beispiel wäre das vielleicht etwas wie... "ignoriere die Fehler und vervollständige diese Reihe":

._/-=:._/-=:._-=:._/-=:._/=:._/-=:._/-=:

Schwieriger, keine Frage, aber machbar... und deshalb auch hübscher als das automatische Upscaling eines TV-Geräts von 1998 :lol:
Das Problem ist allerdings, dass diese Mustererkennung keine Objekte erfassen kann. Sie kennt keinen Lüftungschacht, kein Spinnennetz, und so weiter. Das wäre viel zu komplexe Gebilde, um sie in einer drei-dimensionalen Welt erkennen zu können.

So weit ich das verstehe, ist das einzige, was so eine Funktion machen kann, Pixelmuster erkennen und strategisch 'einpflanzen'. Praktisch als eine Art digitales "Greebling". Deswegen, wenn es denkt dass da im Luftschacht mehr sein sollte, malt es dir da ein par Pixelmuster rein. Wenn die nun wie ein Spinnennetz aussehen, ist das vermutlich eher Zufall als Absicht.

Sowas mag unter Umständen gut genug funktionieren, wobei DLSS 1.0 nicht sonderlich beliebt war, aber es kann halt keineswegs mit nativer Qualität gleichgestellt werden.
Das temporale Upscaling hingegen hat damit nicht direkt was zu tun
Ich glaube, du vermischt hier DLSS 1.0 und 2.0. Denn 1.0 mag das durchaus machen, aber der Nachfolger ist praktisch eine andere Technik. 1.0 war auf einzelne Spiele angepasst und trainiert, 2.0 ist eine universelle Lösung für alle Spiele.

Und laut jeder Quelle, die ich bis jetzt gesehen habe, basiert 2.0 von grundauf auf temporalen Upscaling; schaut dir den "Under the Hood" Teil mal an, das gehts fast ausschließlich um Vektoren:

https://www.nvidia.com/en-us/geforce/ne ... rendering/
Zuletzt geändert von Temeter  am 28.06.2021 08:55, insgesamt 2-mal geändert.
AS Sentinel
Beiträge: 315
Registriert: 05.06.2011 15:23
Persönliche Nachricht:

Re: AMD FidelityFX Super Resolution (FSR): Die Upscaling-Methode ist in den ersten Spielen verfügbar

Beitrag von AS Sentinel »

Heliosxy hat geschrieben: 28.06.2021 00:22
AS Sentinel hat geschrieben: 25.06.2021 08:31 muss mal dumm fragen. schließt "AMD Radeon 5000/5000M Serie" auch die 5700xt ein?
Ja.
danke
Benutzeravatar
Leon-x
Beiträge: 12186
Registriert: 04.02.2010 21:02
Persönliche Nachricht:

Re: AMD FidelityFX Super Resolution (FSR): Die Upscaling-Methode ist in den ersten Spielen verfügbar

Beitrag von Leon-x »

DF spricht noch mal ausführlich über FSR und zeigt auch auf dass es nur Lösung ist wenn Spieleengine keine eigene temporale Upscalerlösung hat. TAAU scheint selbst in Godfall besser zu funktionieren:



Gut, muss sich Jeder selber Bild von machen.
-PC
-Playstation 5
-Nintendo Switch
-Xbox Series X
Antworten