Superauflösende Algorithmen, die von Gaming-GPUs ausgeführt werden, sind zur Speerspitze verschiedener Gaming-Anwendungen geworden GPU Hersteller. Mit der Eingabe von Intel auf diesem Markt wollten sie nicht abgehängt werden und haben ein eigenes Gegenstück zu den NVIDIA DLSS und die AMD FSR unter dem Namen Intel Xe Super Sampling. Wie funktioniert der Intel XeSS und wie unterscheidet er sich von seinen Konkurrenten?
Zusammen mit der endgültigen Präsentation dessen, was früher als Xe-HPG bekannt war und in ARC Alchemist umbenannt wurde. Intel hat uns nicht nur über seine neue Generation von Grafikarchitekturen, sondern auch über das Engagement für Künstliche Intelligenz für die Zukunft berichtet, beides in CPU und GPU. Im speziellen Fall ihrer GPUs haben sie einen Algorithmus namens Intel XeSS entwickelt, der mit AMDs FSR und NVIDIAs DLSS konkurrieren soll. Wo sie in den Zielen übereinstimmen, aber nicht in der Art und Weise, wie zwischen den drei Algorithmen gearbeitet wird.
Warum brauchen wir superauflösende Algorithmen?
Bei der Verarbeitung von Grafiken wird jedem Vertex, Fragment oder Pixel mindestens ein Ausführungs-Thread auf der GPU zugewiesen und es muss berücksichtigt werden, dass die Anzahl der Pixel viel größer ist als die Anzahl der Vertices in der Szene. Dies bedeutet, dass bei einer Erhöhung der Auflösung die Anzahl der innerhalb der GPU auszuführenden Anweisungen sowie deren Daten und damit auch die Bandbreite erhöht wird.
Das Problem ist, dass dies impliziert, dass eine viel größere GPU, nicht nur aufgrund der Zunahme der verschiedenen Einheiten, sondern auch aufgrund der Tatsache, dass durch den Bedarf an einer höheren Bandbreite auch komplexere Speichercontroller erforderlich sind. Vergessen wir nicht, dass diese am äußeren Rand eines jeden Prozessors platziert sind und daher mit seiner Größe zu tun haben. Und vor allem dürfen wir den hohen Verbrauch der in Gaming-Grafikkarten verwendeten Speicher nicht vergessen.
Super-Resolution-Algorithmen wie AMD FSR, Intel Xess und NVIDIA DLSS versuchen, dieses Problem zu lösen. Sie verlassen sich darauf, die Hardware um einen winzigen Prozentsatz, weniger als 10 %, zu erhöhen, um eine Leistung zu erzielen, die sonst traditionell die Verdoppelung der Größe einer GPU erfordern würde. Zu all dem dürfen wir Ray Tracing nicht vergessen, dessen Algorithmus sogar auf Pixelebene arbeitet, der sogar Beschleunigungsstrukturen wie BVH nutzt, daher wurden superauflösende Algorithmen als wesentlicher Bestandteil von Echtzeitgrafiken übernommen.
Was ist Intel XeSS?
Intel wird anbieten zwei Versionen des Intel XeSS und damit zwei verschiedene Algorithmen. In beiden Fällen sprechen wir von einem Algorithmus, der auf Deep Learning und Computer Vision basiert und daher wird ein neuronales Inferenznetzwerk verwendet, das das Bild mit einer höheren Auflösung mit mehr Pixeln aus einer niedrigeren Auflösung vorhersagt. und damit weniger Pixel.
Die erste Variante nutzt das SIMD over Register oder SWAR, das einige GPUs haben. Dieser Mechanismus besteht darin, dass die 32-Bit-ALU in zwei 16-Bit-ALUs unterteilt werden kann, die denselben Befehl oder 4 von 8 Bit ausführen. Nun, das DP4A-Format besteht aus der Gruppierung von 4 8-Bit-Operanden in einem 32-Bit-Register. So wird eine der XeSS-Varianten auf Intels integrierten GPUs sowie auf allen GPUs laufen können, die dieses Format unterstützen, da Intel es Open Source machen wird.
Die zweite Variante des Intel XeSS ist dagegen komplexer, da sie mit den Tensor-Einheiten des Intel Arc namens XMX arbeitet, aber nicht in NVIDIA-GPUs mit Tensor-Cores. Intels Erklärung ist nichts anderes, als dass NVIDIA die Funktionsweise der Tensor-Cores seiner GPU, die Verwendung von XMX-Einheiten und die Fähigkeit, extrem schnelle Matrixberechnungen durchzuführen, die von Faltungsnetzwerken erforderlich sind, unter Verschluss hält. Da es auf AMD-GPUs nicht funktioniert und AMDs GPUs derzeit solche Einheiten fehlen, wäre die zweite Variante ausschließlich für Intel-GPUs gedacht.
Wie unterscheidet sich Intel XeSS von Lösungen von AMD und NVIDIA?
Tatsächlich wäre es zwischen den beiden Welten, da es trotz der Tatsache, dass es ein Lösung basierend auf Deep Learning wie bei NVIDIA haben sie von Intel bestätigt, dass sie es sind werde den Code seiner Implementierung veröffentlichen wie es AMD mit seiner FidelityFX Super Resolution getan hat. So können Entwickler es einfacher in ihren Spielen und Anwendungen anwenden. Es ist eine Strategie, die im Fall des AMD-Algorithmus seine Implementierung über das Erwartete hinaus ermöglicht hat, wie zum Beispiel Emulatoren alter Konsolen, Linux Anwendungen und sogar Spiele, die keinen Patch dieser Art erhalten hätten.
Wie das NVIDIA DLSS berücksichtigt es auch die Zeitlichkeitsdaten, die aus den Informationen der vorherigen Frames gewonnen werden, dies tut der AMD FSR nicht, da die rote Lösung nur die Informationen des aktuellen Frames übernimmt. Vergessen wir auch nicht, dass der AMD-Algorithmus nicht auf künstlicher Intelligenz basiert und daher kein Training erfordert, während der von NVIDIA dies tut. Nun, Intel hat behauptet, dass XeSS dies auch nicht tut, und hier wird es interessant.
Warum braucht das XeSS kein Training?
Eines der Dinge, die XeSS von NVIDIA DLSS unterscheidet, ist, dass ersteres erfordert keine Schulung . Im Trainingsprozess arbeiten zwei Elemente gleichzeitig, das erste ist für die Vorhersage und das zweite für die Überwachung zuständig. Wenn eine Vorhersage durch das neuronale Faltungsnetzwerk falsch ist, gibt die Überwachungshardware die negative Antwort zurück und das neuronale Netzwerk wird immer weiter verfeinert, bis es lernt, die richtigen Vorhersagen zu treffen.
In einem Videospiel, in dem kein einziger Frame wiederholt wird, ist dies viel schwieriger als in einem Film, in dem es immer die gleichen Frames gibt. Deshalb wird normalerweise das neuronale Netz mit Supervision trainiert. Das besteht darin, das Spiel mit hoher Auflösung in einem System auszuführen, das Bild in einem Prozess zu verkleinern, der Rauschen hinzufügt, und aus diesen Daten ein neuronales Netzwerk im System zu erstellen, das die Schlussfolgerung ziehen muss, damit es das Bild auf eine höhere Ebene erzeugen kann Auflösung.
Intel gibt an, dass bei XeSS keine Schulung erforderlich ist und daher es ist keine Überwachung durch ein externes System erforderlich. Die Realität dieser Aussage ist nichts anderes als der Trainingsprozess wird innerhalb der GPU-eigenen Hardware ausgeführt anstatt auf Remote-Hardware ausgeführt zu werden. Dazu führt die GPU das Spiel in zwei gleichzeitigen Instanzen gleichzeitig aus, wobei eine als Supervisor fungiert und in der anderen das neuronale Netzwerk abgestimmt wird. Dadurch können diejenigen, die Intel Xess in ihren Spielen und Anwendungen implementieren, den Algorithmus verfeinern und sind nicht auf externe Server angewiesen.
Die geheimen Zutaten, die Intel in seine GPUs für das XeSS integriert hat
Um das Training zu beschleunigen, wird Intel eine Reihe von zusätzliche Einheiten in der GPU , so wie die Downsampler , das Gerät, um das gleiche Bild mit einer niedrigeren Auflösung zu erhalten, und das Gerät, das den Verlust der Signalqualität berechnet. Nicht zu vergessen die Backpropagator , die während des Trainingsvorgangs von der GPU selbst von entscheidender Bedeutung ist. Im Moment wissen wir nicht, wo sich diese Einheiten zum Trainieren des Convolutional Neural Network befinden, aber wir gehen davon aus, dass sie eine unterstützende Einheit neben der Rendering-Engine sind, aber innerhalb der GPU selbst.
Superauflösende Algorithmen verwenden oft Supersampling-Algorithmen dabei, um das Bild mit einer höheren Auflösung zu erhalten. Einige verwenden die bikubische Interpolation, während andere wie der FSR eine Lanczos-Variante verwenden, obwohl alle auf den Shader-Einheiten der GPU laufen und diese daher am Ende derating machen. Intel hätte Skalierungseinheiten eingebaut , die in der Lage wäre, einen oder mehrere Supersampling-Algorithmen automatisch auszuführen und die Xe Core SIMD-Einheiten von dieser Aufgabe befreien würde, um sie an anderer Stelle dort einsetzen zu können, wo sie auch benötigt werden.
Zusammenfassend fügt der Intel XeSS eine Reihe von zusätzliche Hardware das bis jetzt war bei GPUs beispiellos. Nicht nur um diese Algorithmen zu beschleunigen, sondern auch um die Kompatibilität zu erhöhen und ihre Implementierung in die verschiedenen Spiele auf dem Markt zu erleichtern. Seien es die neuesten Nachrichten oder Spiele mit einigen Jahren Rückstand. Man kann also sagen, dass Intel mit dem XeSS die Schwächen und Grenzen seiner Konkurrenten gut zur Kenntnis genommen hat.
