Tworzenie zaawansowanych du\u017cych modeli j\u0119zykowych (LLM) wi\u0105\u017ce si\u0119 z wysok\u0105 cen\u0105, dlatego programi\u015bci cz\u0119sto opieraj\u0105 si\u0119 na prawach skalowania, aby oceni\u0107 potencjaln\u0105 wydajno\u015b\u0107 wi\u0119kszych modeli na podstawie mniejszych, bardziej przyst\u0119pnych cenowo. Prawa skalowania pozwalaj\u0105 deweloperom do\u015bwiadczy\u0107 potencjalnych rezultat\u00f3w bez znacz\u0105cych inwestycji. Te ramy matematyczne modeluj\u0105 zwi\u0105zek mi\u0119dzy strat\u0105 modelu - lub jego miar\u0105 b\u0142\u0119du - a parametrami i tokenami u\u017cywanymi podczas szkolenia.<\/p>\n
Naukowcy z MIT i MIT-IBM Watson AI Lab poczynili ostatnio ogromny krok w kierunku uczynienia tych praw skalowania bardziej wiarygodnymi. Stworzyli oni obszerny zbi\u00f3r danych sk\u0142adaj\u0105cy si\u0119 ze statystyk wydajno\u015bci r\u00f3\u017cnych modeli. Ich kompleksowa metaanaliza ma na celu pom\u00f3c programistom w wyborze najlepszych ma\u0142ych modeli do prognozowania wydajno\u015bci wi\u0119kszych modeli w oparciu o ogromny zbi\u00f3r statystyk. Jacob Andreas z MIT, Leshem Choshen i Yang Zhang z IBM Research zaprezentowali t\u0119 innowacyjn\u0105 prac\u0119 podczas International Conference on Machine Learning.<\/p>\n
Naukowcy zebrali dane z 485 wst\u0119pnie uformowanych modeli z 40 r\u00f3\u017cnych rodzin modeli, z kt\u00f3rych jedna to dobrze znane modele, takie jak GPT i T5-Pile. Zebrali szczeg\u00f3\u0142owe informacje dotycz\u0105ce funkcjonowania, projektu, koszt\u00f3w obliczeniowych i og\u00f3lnej wydajno\u015bci ka\u017cdego modelu. W ten spos\u00f3b uzyskano ponad 1,9 miliona wska\u017anik\u00f3w wydajno\u015bci. Kluczowe odkrycia obejmowa\u0142y nauk\u0119, \u017ce prawa skalowania mog\u0105 by\u0107 niezwykle precyzyjne, a wnikliwe wytyczne zosta\u0142y dostarczone w celu uzyskania bardziej wiarygodnych prognoz i lepszego podejmowania decyzji.<\/p>\n
Badanie ujawni\u0142o r\u00f3wnie\u017c kilka zaskakuj\u0105cych spostrze\u017ce\u0144, takich jak fakt, \u017ce ma\u0142e, cz\u0119\u015bciowo wytrenowane modele mog\u0105 nadal przewidywa\u0107 zachowanie wi\u0119kszego modelu. Odkrycie to podwa\u017cy\u0142o za\u0142o\u017cenie, \u017ce mniejsze modele znacznie r\u00f3\u017cni\u0105 si\u0119 od wi\u0119kszych, otwieraj\u0105c nowe mo\u017cliwo\u015bci. Teraz prawa skalowania mog\u0105 dzia\u0142a\u0107 dwukierunkowo - mo\u017cliwe jest prognozowanie zachowania ma\u0142ych modeli na podstawie du\u017cych modeli. Zesp\u00f3\u0142 badawczy ma ju\u017c na oku kolejny kamie\u0144 milowy - wnioskowanie, kt\u00f3re obejmuje zbadanie, w jaki spos\u00f3b modele skaluj\u0105 si\u0119 wraz ze wzrostem wysi\u0142ku obliczeniowego w czasie wykonywania.<\/p>\n
Te prze\u0142omowe badania, wspierane przez MIT-IBM Watson AI Lab i Sloan Research Fellowship, oznaczaj\u0105 radykaln\u0105 zmian\u0119 w sposobie, w jaki badacze sztucznej inteligencji mog\u0105 trenowa\u0107 bardziej inteligentnie. Poprzez dekonstrukcj\u0119 i demistyfikacj\u0119 praw skalowania, zesp\u00f3\u0142 stworzy\u0142 map\u0119 drogow\u0105, kt\u00f3ra umo\u017cliwi programistom i instytucjom dost\u0119p do pot\u0119\u017cnych modeli j\u0119zykowych w \u0142atwiejszy do zarz\u0105dzania spos\u00f3b. Oznacza to ogromny post\u0119p w badaniach nad sztuczn\u0105 inteligencj\u0105, zapocz\u0105tkowuj\u0105c now\u0105 er\u0119 wydajno\u015bci i dost\u0119pno\u015bci.<\/p>\n