Skok naprz\u00f3d w technologii sztucznej inteligencji zapocz\u0105tkowany przez naukowc\u00f3w z MIT oferuje transformacyjne podej\u015bcie do trenowania modeli sztucznej inteligencji na urz\u0105dzeniach codziennego u\u017cytku, w tym smartwatchach i czujnikach. Zwi\u0119kszaj\u0105c wydajno\u015b\u0107 treningu sztucznej inteligencji z zachowaniem prywatno\u015bci o oko\u0142o 81 procent, naukowcy utorowali drog\u0119 dla szerszej gamy urz\u0105dze\u0144 o ograniczonych zasobach do korzystania z bardziej precyzyjnych modeli sztucznej inteligencji przy jednoczesnym zachowaniu bezpiecze\u0144stwa danych u\u017cytkownika. To przybli\u017ca nas o krok do prawdziwej demokratyzacji dost\u0119pu do sztucznej inteligencji.<\/p>\n
Uczenie federacyjne - podej\u015bcie, kt\u00f3re pozwala sieci po\u0142\u0105czonych urz\u0105dze\u0144 na trenowanie uniwersalnie wsp\u00f3\u0142dzielonego modelu sztucznej inteligencji - dzia\u0142a teraz z wi\u0119ksz\u0105 wydajno\u015bci\u0105 dzi\u0119ki zespo\u0142owi. W tej konfiguracji model sztucznej inteligencji jest najpierw dystrybuowany z centralnego serwera do r\u00f3\u017cnych urz\u0105dze\u0144. Ka\u017cde urz\u0105dzenie, wykorzystuj\u0105c swoje dane, trenuje model, a nast\u0119pnie wysy\u0142a modyfikacje z powrotem do serwera. Strategia ta zapewnia, \u017ce dane nigdy nie opuszczaj\u0105 urz\u0105dzenia, zapewniaj\u0105c dodatkow\u0105 warstw\u0119 bezpiecze\u0144stwa danych. Jednak nie wszystkie urz\u0105dzenia w tej sieci maj\u0105 wymagan\u0105 pojemno\u015b\u0107, moc i \u0142\u0105czno\u015b\u0107, aby skutecznie pracowa\u0107 z modelem, co czasami prowadzi do op\u00f3\u017anie\u0144, kt\u00f3re wp\u0142ywaj\u0105 na og\u00f3ln\u0105 wydajno\u015b\u0107 treningu.<\/p>\n
Warto zapozna\u0107 si\u0119 z pomys\u0142owymi technikami MIT do zarz\u0105dzania ograniczeniami pami\u0119ci i w\u0105skimi gard\u0142ami po\u0142\u0105cze\u0144. Ich metoda zosta\u0142a specjalnie zaprojektowana do dzia\u0142ania w sieci sk\u0142adaj\u0105cej si\u0119 z r\u00f3\u017cnych urz\u0105dze\u0144 o r\u00f3\u017cnych zasobach i ograniczeniach. Sprawia to, \u017ce coraz bardziej prawdopodobne jest wykorzystanie modeli sztucznej inteligencji w obszarach o wysokiej stawce z surowymi wymogami bezpiecze\u0144stwa, takich jak opieka zdrowotna i finanse.<\/p>\n
\u201cTa praca polega na wprowadzeniu sztucznej inteligencji do ma\u0142ych urz\u0105dze\u0144, w kt\u00f3rych obecnie nie jest mo\u017cliwe uruchamianie tego rodzaju pot\u0119\u017cnych modeli. Nosimy te urz\u0105dzenia ze sob\u0105 w naszym codziennym \u017cyciu. Potrzebujemy, aby sztuczna inteligencja mog\u0142a dzia\u0142a\u0107 na tych urz\u0105dzeniach, a nie tylko na gigantycznych serwerach i procesorach graficznych, a ta praca jest wa\u017cnym krokiem w kierunku umo\u017cliwienia tego\u201d, wyja\u015bnia Irene Tenison, absolwentka elektrotechniki i informatyki (EECS) i g\u0142\u00f3wna autorka pracy. artyku\u0142 badawczy<\/a>.<\/p>\n Odnosz\u0105c si\u0119 do istniej\u0105cych niedoci\u0105gni\u0119\u0107 w podej\u015bciach do federacyjnego uczenia si\u0119, Tenison zauwa\u017ca wyzwanie zwi\u0105zane z urz\u0105dzeniami o r\u00f3\u017cnych mo\u017cliwo\u015bciach i przerywanej \u0142\u0105czno\u015bci. Cz\u0119sto maj\u0105 one ograniczon\u0105 pami\u0119\u0107 i moc obliczeniow\u0105 i nie mog\u0105 szybko przesy\u0142a\u0107 swoich aktualizacji z powrotem do centralnego serwera. Ponadto oczekiwanie na aktualizacje ze wszystkich urz\u0105dze\u0144 mo\u017ce powodowa\u0107 znaczne op\u00f3\u017anienia: \u201cTo op\u00f3\u017anienie mo\u017ce spowolni\u0107 procedur\u0119 szkoleniow\u0105 lub nawet spowodowa\u0107 jej niepowodzenie\u201d.\u201d<\/p>\n Dlatego te\u017c naukowcy opracowali nowe podej\u015bcie o nazwie FTTE (Federated Tiny Training Engine). FTTE zawiera trzy g\u0142\u00f3wne innowacje, kt\u00f3re znacznie zmniejszaj\u0105 obci\u0105\u017cenie pami\u0119ci i komunikacji wymagane przez ka\u017cde urz\u0105dzenie mobilne. Polegaj\u0105 one na wysy\u0142aniu tylko podzbioru parametr\u00f3w modelu do urz\u0105dze\u0144 zmniejszaj\u0105cych pami\u0119\u0107, aktualizowaniu modelu przy u\u017cyciu podej\u015bcia asynchronicznego i obliczaniu wp\u0142ywu aktualizacji ka\u017cdego urz\u0105dzenia na podstawie czasu jej otrzymania, co zapewnia, \u017ce starsze dane nie utrudniaj\u0105 post\u0119pu.<\/p>\n Zesp\u00f3\u0142 przetestowa\u0142 swoj\u0105 metod\u0119 poprzez symulacje na setkach r\u00f3\u017cnych urz\u0105dze\u0144, r\u00f3\u017cnych modelach i zestawach danych. Rezultat by\u0142 imponuj\u0105cy - szkolenie zako\u0144czy\u0142o si\u0119 nawet o 81 procent szybciej ni\u017c w przypadku standardowych metod uczenia federacyjnego. Narzut pami\u0119ci na urz\u0105dzeniu zosta\u0142 zmniejszony o 80 procent, a obci\u0105\u017cenie komunikacyjne o 69 procent, przy jednoczesnym zachowaniu dok\u0142adno\u015bci innych metod.<\/p>\n Zauwa\u017caj\u0105c, \u017ce celowo usprawnili proces, aby umo\u017cliwi\u0107 szybsze szkolenie i oszcz\u0119dzi\u0107 \u017cywotno\u015b\u0107 baterii mniejszych, mniej wydajnych urz\u0105dze\u0144, powiedzia\u0142 Tenison: \u201cPoniewa\u017c chcemy, aby model trenowa\u0142 tak szybko, jak to mo\u017cliwe, aby oszcz\u0119dza\u0107 bateri\u0119 tych urz\u0105dze\u0144 o ograniczonych zasobach, mamy kompromis w dok\u0142adno\u015bci. Ale niewielki spadek dok\u0142adno\u015bci mo\u017ce by\u0107 akceptowalny w niekt\u00f3rych zastosowaniach, zw\u0142aszcza \u017ce nasza metoda dzia\u0142a znacznie szybciej\u201d.\u201d<\/p>\n Tenison podkre\u015bli\u0142 r\u00f3wnie\u017c skalowalno\u015b\u0107 FTTE i doskona\u0142\u0105 wydajno\u015b\u0107 w przypadku wi\u0119kszych grup urz\u0105dze\u0144, dodaj\u0105c: \u201cNie ka\u017cdy ma najnowszego iPhone'a Apple. Na przyk\u0142ad w wielu krajach rozwijaj\u0105cych si\u0119 u\u017cytkownicy mog\u0105 mie\u0107 mniej wydajne telefony kom\u00f3rkowe. Dzi\u0119ki naszej technice mo\u017cemy przenie\u015b\u0107 korzy\u015bci p\u0142yn\u0105ce z federacyjnego uczenia si\u0119 do tych ustawie\u0144\u201d.\u201d<\/p>\n W przysz\u0142o\u015bci naukowcy planuj\u0105 zbada\u0107, w jaki spos\u00f3b ich metodologia mo\u017ce poprawi\u0107 spersonalizowan\u0105 wydajno\u015b\u0107 modeli sztucznej inteligencji na ka\u017cdym urz\u0105dzeniu. Zale\u017cy im na przeprowadzeniu wi\u0119kszych eksperyment\u00f3w na prawdziwym sprz\u0119cie. Prze\u0142om ten jest cz\u0119\u015bciowo finansowany przez stypendium doktoranckie Takeda.<\/p>\n Je\u015bli szukasz automatyzacji AI dla swojej firmy, rozwa\u017c wdro\u017cenie rozwi\u0105za\u0144 AI z implementi.ai<\/a>.<\/p>\n