Nvidia DLAA (Deep Learning Anti-Aliasing) in Entwicklung

[Levi]

Die Sache, dir mir Zweifel bereitet, ist, dass es eben nur sehr begrenzt Muster erkennen kann. Da wird kein Bild von der KI gespeichert, die GPU kann keine Objekte erkennen, das wäre viel zu kompliziert und viel zu viel Speicher.

Effektiv kann eine GPU, nach meinem Verständnis, eigentlich nur vage Pixelmuster erkennen und je nach Wahrscheinlickeit ins Bild einrechnen. Und das macht bei er Technik auch Sinn, Mustererkennung ist exakt, wozu ein neurales Netzwerk gut ist. Aber da all das hier in Echtzeit ist und größere Muster extrem speicherintensiv wären, ist das eben auch sehr begrenzt.

Du hast immernoch nicht verstanden, was wo passiert.

Er muss zum Beispiel nicht jeden Baum auswendig lernen, sondern nur grob wissen, wie so ein Ast aussieht.

Und größere Muster sind nicht Speicherintensiv, wenn sie nicht "einzigartig/chaotisch" sind. Du kennst doch gewiss kkrieger.
Das, was bei kkrieger clevere Demoköpfe machen, übernimmt die KI.

[Temeter]

Er muss zum Beispiel nicht jeden Baum auswendig lernen, sondern nur grob wissen, wie so ein Ast aussieht.

Und genau das ist, worüber ich die ganze Zeit rede. Ein Ast ist viel zu kompliziert, denn er kann in nahezu unendlich vielen Variationen kommen, er kann von unendlich vielen Winkeln und Distanzen gesehen werden, er kann von einer Million verschiedenen Farben beleuchtet sein. Ein Ast ist außerdem nur eins von unendlich vielen Objekten, die ein Spiel darstellen kann.

In einem Spielen habe ich noch nie eine Technik gesehen, die auch nur ansatzweise so etwas leisten kann. Ich würde eher erwarten, dass DLSS simplere und universellere Technik benutzt.

Vielleicht kann es die "Außenlinie" eines Asts erkennen, ähnlich wie ein komplexeres Edge-Detection Algorithmus, und die über die Pixel hinweg fortsetzen. Aber das würde praktisch für jede Linie dann so funktionieren. Und irgendwo hatte jemand ja ein hochaufgelösten Bild mit Augenbrauen gezeigt, wo DLSS die dann verbunden und minimal verwaschen hat. Das sah dann anders als Nativ aus, und möglicherweise nicht immer korrekt, aber es sah halt gut aus.

Und größere Muster sind nicht Speicherintensiv, wenn sie nicht "einzigartig/chaotisch" sind. Du kennst doch gewiss kkrieger.
Das, was bei kkrieger clevere Demoköpfe machen, übernimmt die KI.

Kenne ich tatsächlich, aber ist das nicht etwas anderes? Kkrieger stellt Objekte mit minimalen Datenaufwand dar. Muster erkennen und extrapolieren ist ja kompliziert auf eine andere Art.

[yopparai]

DLSS erkennt keine Objekte wie Bäume oder auch nur Äste und ersetzt sie durch hochaufgelöste Versionen. Es erkennt aber in einem niedrig aufgelösten Bild, ob eine kontrastreiche Kante unter einem bestimmten Winkel dargestellt wird und zeichnet eine höher aufgelöste Version in der gleichen Farbe davon. Dazu muss das Verfahren nicht wissen, ob das ein Baum ist.

Ich wär mir nichtmal sicher, dass das Verfahren komplett auf das ganze Bild in einem Rutsch angewandt wird, ich halte es dagegen für sehr wahrscheinlich, dass da Tile-basiert gearbeitet wird, was auch der Parallelität bei der Berechnung zugute käme. Ich steck nicht allzu tief drin in der Bildverarbeitung mit neuronalen Netzen, aber ein Netz mit einem Output von 8Mio Pixeln (in drei Grundfarben) scheint mir nicht der richtige Weg zu sein.

Ich glaube das Ganze ist sehr viel mehr Low-Level, als hier angenommen wird.

[Temeter]

Ich glaube das Ganze ist sehr viel mehr Low-Level, als hier angenommen wird.

^Danke, du hast deutlich besser umschrieben, was ich die ganze Zeit meinte.

[Levi]

...

Ist ein guter Hinweis.

Das mit dem Baum galt nur als Beispiel um eine Idee rein zu bekommen, wie es funktioniert.
Natürlich weiß die ki nicht, was ein Baum ist oder was ein Gesicht ist. Aber es erkennt Strukturen und weiß, wie man diese hübsch ergänzt. Und dieses Wissen ist halt deutlich mehr als eine einfache zwischen Pixel Interpolation.

@temeter du kannst gewiss sein, dass Yopp nicht das gleiche meint, wie du es versuchst hier zu vermitteln. Für dich ist das Auffüllen mit Details ja Magie und unlogisch.

[Temeter]

@temeter du kannst gewiss sein, dass Yopp nicht das gleiche meint, wie du es versuchst hier zu vermitteln. Für dich ist das Auffüllen mit Details ja Magie und unlogisch.

Behalt mal deine Goalposts da, wo sie waren. Du, und andere, haben gesagt, das Spiel erkennt Objekte und ergänzt sie, weil es ja gelernt hätte, wie sie aussehen.

Und das macht es eben unter Garantie nicht.

[Levi]

Hab ich nicht. Das Beispiel mit dem Baum, dabei ging es ums Prinzip. Es erkennt Muster. Und füllt diese auf.

Aber egal. Du glaubst sowieso nur das, was du möchtest. Glaub ruhig, dass du der Checker und durchblicker bist, und betrachte alle anderen als die Geisterfahrer.

Meine "goalposts" stehen da, wo sie am Anfang meiner Aufklärungsversuche standen. Dort wurden sie von dir ignoriert, also bin ich dir entgegen gekommen, dich zu ihnen hin zu führen mit immer mehr Vereinfachungen und "Bildern".

Dass du das jetzt natürlich ausnutzt ist entlarvend.

[Leon-x]

Du, und andere, haben gesagt, das Spiel erkennt Objekte und ergänzt sie, weil es ja gelernt hätte, wie sie aussehen.

Und das macht es eben unter Garantie nicht.

Doch, genau sowas kann DLSS mitunter. Wurde dir schon mit zich Quellen und Videoverweisen oft dargelegt.

Wie kann es sein dass wenn eine feine Linie die im nativen 4k Bild unterbrochen ist und erst in einem nativen 8k oder 16k Bild komplett zu sehen bei DLSS von 1440p Renderauflösung auf 4k als Ganzes dargestellt werden wenn da eben nicht etwas ersetzt wird? Infos nimmt DLSS Verfahren aus dem Trainingsmaterial was wesentlich höheres Pixelraster hat als nativ 2160p.

Wen es aber nur bei Linien und Kanten passiert würde es ja eher wie AMDs FSR arbeiten. Tut es aber nicht.

Zudem arbeitet DLSS mit tempoalen Komponete was wie TAAU eben Bildinformationen aus vorherigen Frames in neue mitnehmen kann und so für höhere Detaildichte sorgt als in der niedrigeren Renderauflösung enthalten.


Wird hier in der Quelle von DLSS 1.0 zu DLSS 2.0 auch angesprochen wie das Verfahren:

Spoiler

Show

Hier setzt das Herzstück von DLSS an: Die Software weiß aus den Trainingssessions, welche Informationen verlorengehen, und versucht diese nach bestem Wissen spatial (räumlich) und temporal (zeitlich) aufzuwerten. Durch das erlangte Wissen, bei dem 16K-Bilder die nachzubildende Referenz darstellen, gelingt es DLSS mitunter, Details darzustellen, die in gängigen Echtzeitauflösungen im Pixekraster verschwinden.

Quelle:

https://www.pcgameshardware.de/Nvidia-G ... t-1346257/

[Temeter]

Doch, genau sowas kann DLSS mitunter. Wurde dir schon mit zich Quellen und Videoverweisen oft dargelegt.

Wie kann es sein dass wenn eine feine Linie die im nativen 4k Bild unterbrochen ist und erst in einem nativen 8k oder 16k Bild komplett zu sehen bei DLSS von 1440p Renderauflösung auf 4k als Ganzes dargestellt werden wenn da eben nicht etwas ersetzt wird? Infos nimmt DLSS Verfahren aus dem Trainingsmaterial was wesentlich höheres Pixelraster hat als nativ 2160p.

Wen es aber nur bei Linien und Kanten passiert würde es ja eher wie AMDs FSR arbeiten. Tut es aber nicht.

Zudem arbeitet DLSS mit tempoalen Komponete was wie TAAU eben Bildinformationen aus vorherigen Frames in neue mitnehmen kann und so für höhere Detaildichte sorgt als in der niedrigeren Renderauflösung enthalten.


Wird hier in der Quelle von DLSS 1.0 zu DLSS 2.0 auch angesprochen wie das Verfahren:

Spoiler

Show

Hier setzt das Herzstück von DLSS an: Die Software weiß aus den Trainingssessions, welche Informationen verlorengehen, und versucht diese nach bestem Wissen spatial (räumlich) und temporal (zeitlich) aufzuwerten. Durch das erlangte Wissen, bei dem 16K-Bilder die nachzubildende Referenz darstellen, gelingt es DLSS mitunter, Details darzustellen, die in gängigen Echtzeitauflösungen im Pixekraster verschwinden.

Quelle:

https://www.pcgameshardware.de/Nvidia-G ... t-1346257/

Nirgendwo in deiner Quelle steht etwas davon, dass es Objekte erkennt. Da steht nur, dass Pixelmuster extrapolieren kann, weil das neuronale Netzwerk eben aufzeichnet, wo typischerweise Pixel verloren gehen.

Überhaupt, erinnere ich mich richtig, dass Digital Foundry nicht sogar gesagt hat, DLSS 2.0 wäre im Gegensatz zum Vorgänger hauptsächlich temporales Upscaling? Aka, es vergleicht hauptsächlich Pixel von einem Frame zu den nächsten, und füllt dann dazwischen aus?

[Levi]

Jetzt verabschiede dich doch mal bitte von den Objekten. Das war ein ungünstig gewähltes Beispiel von mir, welches ich aus Chibis Post aufgegriffen habe. Es erkennt Muster und Schemen. Wobei du unterscheiden musst: es erkennt Muster. Nicht: es kennt Muster. So besser? Lass andere User jetzt mit meinen Beispiel zufrieden und konzentrier dich drauf, was dir einzelne User schreiben.

[Leon-x]

Nirgendwo in deiner Quelle steht etwas davon, dass es Objekte erkennt. Da steht nur, dass Pixelmuster extrapolieren kann, weil das neuronale Netzwerk eben aufzeichnet, wo typischerweise Pixel verloren gehen.

Natürlich sagt das Programm nicht über den Treiber Baum, Auto oder Haus und zerlegt es in seine Einzelteile und versucht Fensterrahmen zu verziehen oder Auotoantenne draufzusetzen wo vorher gar keine war.

Aber eben Muster und Strukturen aus dem wesentlich höher aufgelösten Grundmaster und ersetzt diese Pixel die nicht mal bei nativ 4k da wären. Daher kommt eben dieses "mehr" an Details als im Pixelraster von 2160p. Also muss es durchaus gewisse Schemmen erkennen und auch Pixelstrukturen sind "Objekte" aus 0 und 1.

Objekte als Ganzes werden eher beim Nvidia Server antrainiert aber nicht mehr beim Endkunden der halt nur den Datensatz erhält damit Dinge bei seiner niedriger gewählten Renderauflösung rekonstruiert werden.

Überhaupt, erinnere ich mich richtig, dass Digital Foundry nicht sogar gesagt hat, DLSS 2.0 wäre im Gegensatz zum Vorgänger hauptsächlich temporales Upscaling? Aka, es vergleicht hauptsächlich Pixel von einem Frame zu den nächsten, und füllt dann dazwischen aus?

Wäre es reines TAAU was Epic auch schon bei UE4 und jetzt UE5 einsetzt. Man sieht selbst bei DF Vergleichen dass es noch Unterschiede gibt und DLSS bei guter Implimentierung mehr rausholen kann.
Wie schon im Link steht sind für DLSS auch Bewegungsvektoren und Tiefenwirkung mit drin.
Eben etwas was bei kleinen Objekten bisher mit Ghosting (TAAU hat auch Ghosting teils über gesamte Bild) hier da Probleme machte und was mit neuen DLSS Versionen mit 2.2 immer mehr eliminiert wurden.

[VaniKa]

Wenn hinter der Lernphase von DLSS wirklich eine KI steckt, wie ich mir das vorstelle, dann muss sie eben gar nicht offiziell wissen, was ein Haus, Baum usw. ist, sondern lernt komplett unabhängig Zusammenhänge, was vor allem aufgrund einer enorm hohen Datenbasis dann funktioniert. Die KI weiß nicht wirklich was sie tut und wir wissen es auch nicht (bloß auf welchen Grundlagen sie arbeitet), aber durch die permanente Lernerfahrung mit dem Feedback falscher und richtiger oder schlechterer und besserer Entscheidungen kommt dann am Ende einfach insgesamt etwas sehr Brauchbares dabei heraus. Es sind quasi unzählige kleine Vorhersagen, die aufgrund der enormen Erfahrung kaum daneben liegen bzw. zumindest einen guten Vorschlag machen, der praxistauglich ist. Der Schlüssel liegt in der enorm hohen Datenmenge und der enorm hohen Menge an virtuellen Neuronen. Das ist etwas völlig anderes als ein handgeschriebener Algorithmus, den wir vollständig begreifen können. Und das macht es vermutlich so schwer, sich die Fähigkeiten von KIs wirklich vorstellen zu können.

[Irenicus]

also so wie ich das verstanden haben wissen wir schon ziemlich genau was die "ki" macht, sie wandelt ein niedrig aufgelöstes bild in ein höheres um und vergleicht dann das bild mit dem original, macht einen datenabgleich zwischen den beiden bildern und passt dann ihr vorgehen aus den abweichungen an.

das wie ist halt die frage.^^ also man kann davon ausgehen das ein künstliches neurales netz die grundlage bildet, aber wie komplex die struktur etc. ist da bin zumindest ich überfragt.^^

[Temeter]

also so wie ich das verstanden haben wissen wir schon ziemlich genau was die "ki" macht, sie wandelt ein niedrig aufgelöstes bild in ein höheres um und vergleicht dann das bild mit dem original, macht einen datenabgleich zwischen den beiden bildern und passt dann ihr vorgehen aus den abweichungen an.

das wie ist halt die frage.^^ also man kann davon ausgehen das ein künstliches neurales netz die grundlage bildet, aber wie komplex die struktur etc. ist da bin zumindest ich überfragt.^^

Ich denke nicht, dass die "KI" das wirklich macht. Künstliche Intelligenz beschreibt in diesem Zusammenhang nur ein Program, das Denkmuster nachahmen will. Und genau das tut ein neurales Netz, es versucht Verbindungen und Muster zu erkennen.

Nvidia ist da nicht hilfreich, wenn sie sagen, es "trainiert" die KI, wenn der eigentliche Trainingsprozess wohl eher die eigentliche "KI" ist. Am Ende des Prozesses kommt dann keine künstliche Intelligenz aus, sondern einfach Algorithmen, mit denen deine Grafikkarte die Erkenntnisse des neuralen Netzwerks anwenden kann. Diese Algorithmen sind sicherlich komplexer und besser als was AMD zB mit FSR macht, oder sogar das temporale upscaling der Unreal Engine, aber das ist kein hochintelligentes Program hinter.

Das mit den 16k Bildern wird oft frei interpretiert, aber IIRC hat Nvidia klar gesagt, dass diese Bilder nur bei ihnen sind. Was dieses neurale Netz da macht, ist vermutlich ein 1080p/1440p/4k Bild mit dem 16k Bild zu vergleichen, und dann Daten darüber zu sammeln, wo Details verloren gehen. Das sind aber keine Objekte, sondern einfach nur low level Pixelkonstellationen. Wie gesagt, der Hauptzwecke eines neuralen Netzwerks ist meist, Muster zu erkennen, und die dann zu interpolieren. Diese Erkentnisse werden dann gespeichert und mittels Treiber versendet, wo die Nvidia GPU das durch die Tensorkerne jagen kann, um etwas komplexeres hochskalieren zu betreiben.

DLSS 1 war anscheinend super ambitioniert in der Hinsicht, aber leider nicht super effektiv, eben weil das alles sehr schwer umsetzbar ist. DLSS 2.0 scheint dagegen hauptsächlich temporal zu arbeiten, sprich, es guckt von einem Frame zum nächsten, wie sich Pixel bewegen, welche "verbunden" sind, wo für gewöhnlich Detail verloren geht.

[chrische5]

Hallo

Was ist denn für dich eine ki? Der komplette Begriff der Intelligenz ist schwierig, wenn dann noch künstlich hinzukommt, wird es eben etwas beliebig.

Christoph