Wie skalierende Gesetze den KI-Forschern helfen, LLMs effizienter zu trainieren

Die Erstellung fortschrittlicher großer Sprachmodelle (LLMs) ist mit einem hohen Preis verbunden. Aus diesem Grund stützen sich Entwickler häufig auf Skalierungsgesetze, um die potenzielle Leistung größerer Modelle auf der Grundlage kleinerer, kostengünstigerer Modelle zu bewerten. Skalierungsgesetze ermöglichen es Entwicklern, die potenziellen Ergebnisse ohne die erheblichen Investitionen zu erfahren. Diese mathematischen Rahmenwerke modellieren eine Beziehung zwischen dem Verlust eines Modells - oder seinem Fehlermaß - und den beim Training verwendeten Parametern und Token.

Forscher des MIT und des MIT-IBM Watson AI Lab haben kürzlich einen großen Schritt gemacht, um diese Skalierungsgesetze zuverlässiger zu machen. Sie haben einen umfangreichen Datensatz mit Leistungsstatistiken aus einer Vielzahl von Modellen zusammengestellt. Ihre umfassende Meta-Analyse soll Entwicklern dabei helfen, die besten kleinen Modelle auszuwählen, um die Leistung größerer Modelle auf der Grundlage einer umfangreichen Statistiksammlung zu prognostizieren. Jacob Andreas vom MIT, Leshem Choshen und Yang Zhang von IBM Research stellten diese innovative Arbeit auf der International Conference on Machine Learning vor.

Eine neue Grenze in der KI-Forschung

Die Forscher sammelten Daten von 485 vorgefertigten Modellen aus 40 verschiedenen Modellfamilien, darunter auch bekannte Modelle wie GPT und T5-Pile. Sie sammelten detaillierte Informationen über die Funktionsweise, das Design, die Rechenkosten und die Gesamtleistung der einzelnen Modelle. Daraus ergaben sich über 1,9 Millionen Leistungskennzahlen. Zu den wichtigsten Erkenntnissen gehörte die Erkenntnis, dass Skalierungsgesetze bemerkenswert präzise sein können, und es wurden aufschlussreiche Leitlinien für zuverlässigere Vorhersagen und eine bessere Entscheidungsfindung bereitgestellt.

Die Studie brachte auch einige überraschende Erkenntnisse zutage, wie z. B. die Tatsache, dass kleine, teilweise trainierte Modelle immer noch das Verhalten eines größeren Modells vorhersagen können. Diese Entdeckung hat die Annahme in Frage gestellt, dass sich kleinere Modelle erheblich von größeren Modellen unterscheiden, und neue Möglichkeiten eröffnet. Nun können die Skalierungsgesetze in beide Richtungen wirken - es ist möglich, das Verhalten kleiner Modelle auf der Grundlage großer Modelle vorherzusagen. Das Forschungsteam hat bereits den nächsten Meilenstein im Blick - die Inferenz, bei der untersucht wird, wie Modelle mit zunehmendem Rechenaufwand zur Laufzeit skalieren.

Leistungsstarke Sprachmodelle besser zugänglich machen

Diese bahnbrechende Forschungsarbeit, die vom MIT-IBM Watson AI Lab und einem Sloan-Forschungsstipendium unterstützt wird, markiert einen dramatischen Wandel in der Art und Weise, wie KI-Forscher intelligenter trainieren können. Durch die Dekonstruktion und Entmystifizierung der Skalierungsgesetze hat das Team eine Roadmap erstellt, die es Entwicklern und Institutionen ermöglichen wird, auf leistungsfähige Sprachmodelle auf einfachere Weise zuzugreifen. Dies bedeutet einen monumentalen Fortschritt in der KI-Forschung und leitet eine neue Ära der Effizienz und Zugänglichkeit ein.

Weitere Einzelheiten können Sie im Originalartikel nachlesen hier.