DeepSeek und die Universität Peking haben mit Engram eine neue Trainingsmethode entwickelt, um den Hardware-Engpass in der Welt der Künstlichen Intelligenz zu überwinden. Diese innovative Technik trennt den Speicherplatz von den Rechenprozessen und ermöglicht so einen wesentlich effizienteren Systembetrieb. Aktuelle große Sprachmodelle sind auf extrem teuren Speicher mit hoher Bandbreite (HBM) angewiesen, um auf Informationen zuzugreifen. Diese enorme Nachfrage gilt als Hauptgrund dafür, dass die DRAM-Preise innerhalb kürzester Zeit massiv angestiegen sind.
Ende der teuren Hardware-Ära? DeepSeek präsentiert Engram
Das entwickelte System ermöglicht es Modellen, benötigte Informationen per „Lookup“-Verfahren zu finden, ohne den GPU-Speicher unnötig zu belasten. Dadurch kann die Systemkapazität für komplexere Denkaufgaben statt für Routineprozesse genutzt werden. Tests an einem Modell mit 27 Milliarden Parametern haben gezeigt, dass die Engram-Methode spürbare Leistungssteigerungen gegenüber Industriestandards liefert.
Engram macht den Zugriff auf statische Informationen unabhängig von der momentanen Rechenintensität. In Kombination mit kostengünstigen SSD-Lösungen wie von Phison und neuen CXL-Standards ermöglicht diese Methode eine Erhöhung der Gesamtspeicherkapazität. Infolgedessen können KI-Systeme schnell und effizient arbeiten, ohne teure Speichereinheiten zu belegen.
Untersuchungen zeigen, dass die Zuweisung von 20 % bis 25 % des Parameter-Budgets an das Engram-Modul eine höhere Leistung als bei herkömmlichen Modellen ermöglicht. Diese Technik könnte den Druck auf die Hardware entlasten, insbesondere in Regionen, in denen der Zugang zu HBM-Speichern schwierig und kostspielig ist. Dies könnte dazu beitragen, plötzliche Preisschwankungen bei DRAM-Komponenten zu verhindern.
