|
Die Quantisierung im Bereich der Künstlichen Intelligenz (KI) bezeichnet ein Verfahren zur Komprimierung und Optimierung von künstlichen neuronalen Netzen, insbesondere von großen Sprachmodellen (Large Language Models, LLMs). Dabei wird die mathematische Präzision der Modellgewichte von höher bitbreitenden Zahlenformaten auf geringere Bitbreiten reduziert.
Standardmäßig werden Parameter in neuronalen Netzen mit hoher Genauigkeit gespeichert (z. B. 16-Bit-Fließkommazahlen, FP16). Bei der Quantisierung werden diese Werte in ein gitterförmiges Raster mit weniger Bitstufen konvertiert (z. B. 8-Bit- oder 4-Bit-Ganzzahlen, INT8 bzw. INT4).
Ziel des Verfahrens ist es, den Speicherbedarf (VRAM/RAM) sowie die erforderliche Rechenleistung drastisch zu senken. Dadurch können komplexe KI-Modelle auch auf ressourcenbeschränkter Hardware (wie lokalen Consumer-PCs oder mobilen Endgeräten) effizient und mit nur minimalem Genauigkeitsverlust betrieben werden.
Beispiel: Ein Modell mit 14 Milliarden Parametern benötigt im unquantisierten Format (FP16) ca. 28 GB Speicher. Durch eine 4-Bit-Quantisierung (INT4) reduziert sich der Speicherbedarf auf etwa 7 bis 8 GB, wodurch die Ausführung auf handelsüblichen Grafikkarten möglich wird.
Es gibt dabei verschiedene Methoden der Quantisierung. Zum einem die skalare Quantisierung, hier wieder jeder Parameter einfach auf die niedriger Bit-Zahl heruntergesetzt und der Wert dabei gerundet. Mit der Folge, dass bei zu starke Quantisierung, dass Modell an Tiefer verliert und damit "dumm" wird.
Ein Parameter mit 8 Bit kann 256 verschiedene Muster speichern ein Paramater mit 4 Bit nur 16 verschiedene Muster. Durch diese "Verflachung" gehen Informationen verloren.
Bei dem Trellis-Coding oder auch beim Viterbi-Algorithmus werden mehrere Parameter im Zusammenhang quantisiert was zwar später mehr Rechenaufwand im bei der Nutzung zur Folgehat, aber das Modell weniger "Wissen" verlieren lässt.
Werbung:
|