KI-Feinabstimmung
Die Feinabstimmung in Crowdin verbessert KI-Modelle mithilfe projektspezifischer Daten und passt Übersetzungen an deinen Stil, Ton und deine Terminologie an. Durch die Nutzung genehmigter Übersetzungen aus deinen Projekten und Translation Memories (TMs) verbessert die Feinabstimmung die Übersetzungsqualität, senkt Betriebskosten und passt die KI-Leistung an deine Lokalisierungsabläufe an.
Die Feinabstimmung ist für Auto-Translate-Prompts verfügbar, die unterstützte KI-Modelle und Anbieter mit benutzerdefinierten API-Zugangsdaten verwenden. Dadurch können KI-Modelle erstellt werden, die auf deine Lokalisierungsanforderungen zugeschnitten sind.
Die Feinabstimmung verbessert die Leistung von KI-Modellen und bietet folgende Vorteile:
- Verbesserte Genauigkeit – Modelle, die mit deinen Daten trainiert wurden, entsprechen deinem Stil, Ton und deiner domänenspezifischen Terminologie besser.
- Besseres Kontextverständnis – Behandle Sonderfälle und komplexe Szenarien, indem du das Modell mit realen Beispielen aus deinen Projekten trainierst.
- Kosteneinsparungen – Feinabstimmung reduziert den Token-Verbrauch, indem kürzere und präzisere Prompts ermöglicht werden.
- Schrittweise Aktualisierungen – Trainiere Modelle mit neuen Daten, ohne von Grund auf neu zu beginnen, und spare Zeit und Ressourcen.
Du kannst neue Feinabstimmungsaufträge erstellen, ihren Fortschritt überwachen und detaillierte Kennzahlen für abgeschlossene Aufträge prüfen.
Führe die folgenden Schritte aus, um einen Feinabstimmungsauftrag zu erstellen:
- Öffne dein Profil und wähle links in der Seitenleiste KI aus.
- Klicke im Tab Feinabstimmung auf Erstellen, um einen neuen Feinabstimmungsauftrag einzurichten.
- Konfiguriere die Grundparameter und optionalen erweiterten Parameter. Erweiterte Parameter werden typischerweise für komplexe Datensätze oder bei der Feinabstimmung eines Modells für bestimmte Domänenanforderungen angepasst.
- (Optional) Schätze die Kosten der Feinabstimmung, bevor du fortfährst.
- Klicke auf Feinabstimmung starten.
- Überwache den Fortschritt der Feinabstimmung im Bereich Feinabstimmungsaufträge und werte die Ergebnisse nach Abschluss aus.
Wenn du die Kosten der Feinabstimmung vor dem Start des Prozesses schätzt, kannst du sicherstellen, dass das Training in dein Budget passt, und Parameter für optimale Ergebnisse anpassen. Dieser Schritt ist besonders nützlich, wenn du mit einem großen Datensatz arbeitest oder mehrere Feinabstimmungsaufträge ausführst.
Führe die folgenden Schritte aus, um die Kosten der Feinabstimmung zu schätzen:
- Gehe zu Erweiterte Parameter und setze die Anzahl der Epochen auf 1.
- Klicke auf Feinabstimmung starten.
- Das System berechnet und zeigt den ungefähren Preis der Feinabstimmung an. An diesem Punkt kannst du:
- Klicke auf Fortfahren, um die eigentliche Feinabstimmung zu starten, wenn der Preis deinen Erwartungen entspricht.
- Klicke auf Zurück, um die Parameter anzupassen und deine Konfiguration zu verfeinern und möglicherweise die Kosten zu senken.
Wenn du die Kosten im Voraus schätzt, vermeidest du unnötige Ausgaben und kannst mit verschiedenen Konfigurationen experimentieren, um das richtige Gleichgewicht zwischen Leistung und Budget zu finden.
Feinabstimmungsaufträge anzeigen und filtern
Abschnitt betitelt „Feinabstimmungsaufträge anzeigen und filtern“Nachdem du im Bereich KI den Tab Feinabstimmung geöffnet hast, kannst du Feinabstimmungsaufträge anzeigen und filtern, um ihren Fortschritt und ihre Ergebnisse zu überwachen.
Du kannst eine Liste aller erstellten Feinabstimmungsaufträge mit den folgenden Details anzeigen:
- Auftrags-ID – die eindeutige Kennung des Feinabstimmungsauftrags.
- Status – der aktuelle Status des Auftrags (z. B. In Bearbeitung, Abgeschlossen, Fehlgeschlagen).
- Erstellt am – Datum und Uhrzeit, zu denen der Auftrag erstellt wurde.
Um Aufträge zu filtern, klicke auf und wende die folgenden Filter an:
- Status: Alle, Abgeschlossen, In Bearbeitung, Fehlgeschlagen.
Klicke auf Filter löschen, um die Filter zurückzusetzen und alle Aufträge anzuzeigen.
Durch einen Doppelklick auf einen Auftrag werden seine detaillierten Kennzahlen geöffnet, einschließlich Parametern, Ergebnissen, Protokollen und weiteren relevanten Informationen.
Konfigurationsparameter für die Feinabstimmung
Abschnitt betitelt „Konfigurationsparameter für die Feinabstimmung“Du kannst einen Feinabstimmungsauftrag mithilfe von Grund- und erweiterten Parametern konfigurieren.
Die folgenden Parameter sind zum Starten der Feinabstimmung erforderlich:
- Prompt – Wähle den Auto-Translate-Prompt aus, der feinabgestimmt werden soll.
- Projekte – Wähle Projekte aus, deren Übersetzungen zum Training verwendet werden. Stelle sicher, dass die ausgewählten Projekte genehmigte Übersetzungen enthalten.
- Translation Memories – Beziehe TM-Segmente in die Trainingsdaten ein. Lasse das Feld leer, um TMs auszuschließen.
- Datumsbereich (Optional) – Gib den Genehmigungszeitraum zum Filtern der Übersetzungen an.
Erweiterte Parameter bieten mehr Kontrolle über den Feinabstimmungsprozess und enthalten Optionen sowohl für Trainings- als auch für Validierungsdatensätze.
Die Parameter des Trainingsdatensatzes steuern die zum Trainieren des Modells verwendeten Daten. Diese Einstellungen bestimmen Größe und Umfang des Datensatzes und stellen sicher, dass er für ein effektives Training ausreichend ist:
- Batch-Größe – Die Anzahl der Beispiele in jedem Batch während des Trainings. Größere Batch-Größen verringern die Varianz, erhöhen aber die Trainingszeit.
- Lernratenmultiplikator – Passt den Skalierungsfaktor für die Lernrate an. Kleinere Werte helfen, Overfitting zu verhindern, während größere Werte das Lernen beschleunigen.
- Anzahl der Epochen – Die Anzahl vollständiger Durchläufe durch den Trainingsdatensatz. Höhere Werte verbessern die Genauigkeit, erhöhen aber die Kosten.
- Beschränkungen für die Datensatzgröße –
- Maximale Dateigröße des Datensatzes (in Bytes) – Begrenzt die Größe des Trainingsdatensatzes.
- Mindestanzahl von Beispielen im Datensatz – Legt die Untergrenze für die Größe der Trainingsdaten fest.
- Maximale Anzahl von Beispielen im Datensatz – Legt die Obergrenze für die Größe der Trainingsdaten fest.
Validierungsdatensätze werden verwendet, um zu testen, wie gut das feinabgestimmte Modell bei unbekannten Daten funktioniert. Die Konfiguration eines Validierungsdatensatzes ist optional, wird aber zur Bewertung der Modellleistung empfohlen.
- Projekte – Wähle andere Projekte als die für das Training verwendeten aus.
- Translation Memories – Beziehe TM-Segmente zur Validierung ein.
- Datumsbereich – Filtere Übersetzungen für die Validierung nach Genehmigungsdatum.
- Beschränkungen für die Datensatzgröße –
- Maximale Dateigröße des Datensatzes (in Bytes) – Begrenzt die Größe des Validierungsdatensatzes.
- Mindestanzahl von Beispielen im Datensatz – Legt die Untergrenze für die Größe der Validierungsdaten fest.
- Maximale Anzahl von Beispielen im Datensatz – Legt die Obergrenze für die Größe der Validierungsdaten fest.
Nach Abschluss der Feinabstimmung wird ein neues Modell zusammen mit detaillierten Kennzahlen erstellt, darunter Trainings- und Validierungsverluste, Auftragsparameter und Protokolle. Verwende diese Daten, um die Leistung deines Modells zu bewerten und festzustellen, ob es für die Integration in deinen Auto-Translate-Prompt bereit ist.
Zu den wichtigsten Informationen über dein feinabgestimmtes Modell gehören:
- Modell: Name des feinabgestimmten Modells.
- Status: Auftragsstatus (z. B. In Bearbeitung, Abgeschlossen, Fehlgeschlagen).
- Auftrags-ID: Eindeutige Kennung des Feinabstimmungsauftrags.
- Basismodell: Ursprüngliches Modell, das als Ausgangspunkt für die Feinabstimmung verwendet wird.
- Ausgabemodell: Name des resultierenden feinabgestimmten Modells.
- Erstellt am: Datum und Uhrzeit, zu denen der Auftrag gestartet wurde.
Details zu den für den Feinabstimmungsauftrag konfigurierten Parametern:
- Trainierte Token: Gesamtzahl der während des Trainings verarbeiteten Token.
- Anzahl der Epochen: Anzahl vollständiger Durchläufe durch den Datensatz.
- Batch-Größe: Anzahl der Beispiele in jedem Trainings-Batch.
- Lernratenmultiplikator: Skalierungsfaktor für die Lernrate, der bestimmt, wie schnell das Modell seine Gewichte anpasst.
Kennzahlen und Tools zur Bewertung der Leistung deines feinabgestimmten Modells:
- Trainingsverlust: Gibt an, wie gut das Modell an die Trainingsdaten angepasst ist. Niedrigere Werte bedeuten besseres Lernen.
- Validierungsverlust: Bewertet, wie gut das Modell bei unbekannten Daten funktioniert. Nur verfügbar, wenn ein Validierungsdatensatz konfiguriert ist.
- Gesamter Validierungsverlust: Gibt die Gesamtleistung des Modells auf dem gesamten Validierungsdatensatz an, sofern zutreffend.
Überprüfe die Ergebnisse, um festzustellen, ob sie deinen Anforderungen entsprechen. Wenn dies der Fall ist, kannst du das feinabgestimmte Modell für die sofortige Verwendung in deinen Auto-Translate-Prompt integrieren.
Crowdin bietet mehrere Möglichkeiten, die Ergebnisse der Feinabstimmung zu bewerten, darunter interaktive Diagramme und eine detaillierte Kennzahlentabelle.
- Interaktive Diagramme – Visualisiere Kennzahlen der Feinabstimmung wie Trainingsverlust, Validierungsverlust und gesamten Validierungsverlust im Verlauf des Trainings. Bewege den Mauszeiger über Punkte im Diagramm, um schrittspezifische Details anzuzeigen. Du kannst bestimmte Kennzahlen hervorheben oder ausblenden, indem du auf deren Bezeichnungen unter dem Diagramm klickst.
- Kennzahlen-Tab – Greife auf dieselben Daten in Tabellenform zu, um einen umfassenden Überblick zu erhalten. Die Tabelle bietet eine schrittweise Aufschlüsselung und erleichtert so das Erkennen von Mustern oder Problemen während der Feinabstimmung. Ein stetiger Rückgang der Verlustwerte über die Schritte hinweg deutet auf effektives Training hin. Werte näher an null bedeuten bessere Ergebnisse.
Beide Tools sind auf der Seite mit den Details des Feinabstimmungsauftrags verfügbar, sodass du Leistungstrends analysieren und Anomalien effektiv beheben kannst.
Der Tab Nachrichten enthält die vom KI-Anbieter zurückgegebenen Protokolle und bietet eine detaillierte Zeitleiste des Auftragsfortschritts, einschließlich wichtiger Meilensteine (z. B. Checkpoint-Erstellung, Auftragsabschluss) und Hinweisen zur Fehlerbehebung.
Aktualisiere feinabgestimmte Modelle iterativ, um neu genehmigte Übersetzungen einzubeziehen. Verwende den Parameter Datumsbereich, um ein erneutes Training von Grund auf zu vermeiden.
Beispiel-Workflow:
- Erste Feinabstimmung – Trainiere ein Basismodell mit dem vollständigen Datensatz.
- Weitere Feinabstimmung – Trainiere nur mit neu genehmigten Übersetzungen, um ein aktualisiertes Modell zu erstellen und dabei vorherige Trainingsdaten beizubehalten.
Die inkrementelle Feinabstimmung ist ideal für Projekte mit laufenden Aktualisierungen, da du dein Modell optimiert halten kannst, ohne es von Grund auf neu zu trainieren.
Datensätze können zur externen Feinabstimmung, zur Verwendung mit externen Tools oder zur lokalen Validierung vor dem Training heruntergeladen werden.
Weitere Informationen zum Herunterladen von Datensätzen.