KI-Glossar · KI-Begriff 198 von 218

Was ist QLoRA?

Sparsame Variante des Fine-Tunings, die LoRA mit Quantisierung verbindet. Laut Originalpaper „QLoRA: Efficient Finetuning of Quantized LLMs“ (Dettmers u. a., arXiv:2305.14314) bleibt das vortrainierte Modell eingefroren und auf 4 Bit quantisiert, trainiert werden nur kleine LoRA-Adapter. So ließ sich ein Modell mit 65 Milliarden Parametern auf einer einzelnen GPU mit 48 GB nachtrainieren.

Hans erklärt's mit Schrauberhänden 🔧

Wie ein dickes Fachbuch, das du in kompakter Taschenausgabe liest und nur mit eigenen Notizzetteln ergänzt: Das Buch selbst bleibt unverändert.

Merksatz: QLoRA trainiert kleine LoRA-Adapter auf einem eingefrorenen, auf 4 Bit quantisierten Modell.

Beispiel aus der Praxis

Du willst ein offenes Modell auf deine Support-Texte anpassen, hast aber nur eine Grafikkarte. Mit QLoRA lädst du das Modell in 4 Bit und trainierst nur die kleinen LoRA-Adapter dazu.

Darauf kommt es an

Prüf vor dem Start, ob Modell und Trainingsdaten in den VRAM deiner GPU passen, und behalte die Lizenz des Ausgangsmodells im Blick. Teste das Ergebnis mit eigenen Beispielen gegen das Ausgangsmodell.

Weiter lernen: Passende Seite auf mentat.codes →

Verwandte Begriffe

Kurz gefragt

Was ist QLoRA?

Sparsame Variante des Fine-Tunings, die LoRA mit Quantisierung verbindet. Laut Originalpaper „QLoRA: Efficient Finetuning of Quantized LLMs“ (Dettmers u. a., arXiv:2305.14314) bleibt das vortrainierte Modell eingefroren und auf 4 Bit quantisiert, trainiert werden nur kleine LoRA-Adapter. So ließ sich ein Modell mit 65 Milliarden Parametern auf einer einzelnen GPU mit 48 GB nachtrainieren.

Was ist ein Beispiel für QLoRA?

Du willst ein offenes Modell auf deine Support-Texte anpassen, hast aber nur eine Grafikkarte. Mit QLoRA lädst du das Modell in 4 Bit und trainierst nur die kleinen LoRA-Adapter dazu.

Worauf sollte ich bei QLoRA achten?

Prüf vor dem Start, ob Modell und Trainingsdaten in den VRAM deiner GPU passen, und behalte die Lizenz des Ausgangsmodells im Blick. Teste das Ergebnis mit eigenen Beispielen gegen das Ausgangsmodell.

Weiter geht's 🧭

Thematisch verwandt, handverlesen von einem Skript mit gutem Geschmack.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?