Przyspieszenie treningu sztucznej inteligencji z zachowaniem prywatności dla urządzeń codziennego użytku

Skok naprzód w technologii sztucznej inteligencji zapoczątkowany przez naukowców z MIT oferuje transformacyjne podejście do trenowania modeli sztucznej inteligencji na urządzeniach codziennego użytku, w tym smartwatchach i czujnikach. Zwiększając wydajność treningu sztucznej inteligencji z zachowaniem prywatności o około 81 procent, naukowcy utorowali drogę dla szerszej gamy urządzeń o ograniczonych zasobach do korzystania z bardziej precyzyjnych modeli sztucznej inteligencji przy jednoczesnym zachowaniu bezpieczeństwa danych użytkownika. To przybliża nas o krok do prawdziwej demokratyzacji dostępu do sztucznej inteligencji.

Innowacje w nauczaniu federacyjnym

Uczenie federacyjne - podejście, które pozwala sieci połączonych urządzeń na trenowanie uniwersalnie współdzielonego modelu sztucznej inteligencji - działa teraz z większą wydajnością dzięki zespołowi. W tej konfiguracji model sztucznej inteligencji jest najpierw dystrybuowany z centralnego serwera do różnych urządzeń. Każde urządzenie, wykorzystując swoje dane, trenuje model, a następnie wysyła modyfikacje z powrotem do serwera. Strategia ta zapewnia, że dane nigdy nie opuszczają urządzenia, zapewniając dodatkową warstwę bezpieczeństwa danych. Jednak nie wszystkie urządzenia w tej sieci mają wymaganą pojemność, moc i łączność, aby skutecznie pracować z modelem, co czasami prowadzi do opóźnień, które wpływają na ogólną wydajność treningu.

Warto zapoznać się z pomysłowymi technikami MIT do zarządzania ograniczeniami pamięci i wąskimi gardłami połączeń. Ich metoda została specjalnie zaprojektowana do działania w sieci składającej się z różnych urządzeń o różnych zasobach i ograniczeniach. Sprawia to, że coraz bardziej prawdopodobne jest wykorzystanie modeli sztucznej inteligencji w obszarach o wysokiej stawce z surowymi wymogami bezpieczeństwa, takich jak opieka zdrowotna i finanse.

Pokonywanie wyzwań

“Ta praca polega na wprowadzeniu sztucznej inteligencji do małych urządzeń, w których obecnie nie jest możliwe uruchamianie tego rodzaju potężnych modeli. Nosimy te urządzenia ze sobą w naszym codziennym życiu. Potrzebujemy, aby sztuczna inteligencja mogła działać na tych urządzeniach, a nie tylko na gigantycznych serwerach i procesorach graficznych, a ta praca jest ważnym krokiem w kierunku umożliwienia tego”, wyjaśnia Irene Tenison, absolwentka elektrotechniki i informatyki (EECS) i główna autorka pracy. artykuł badawczy.

Odnosząc się do istniejących niedociągnięć w podejściach do federacyjnego uczenia się, Tenison zauważa wyzwanie związane z urządzeniami o różnych możliwościach i przerywanej łączności. Często mają one ograniczoną pamięć i moc obliczeniową i nie mogą szybko przesyłać swoich aktualizacji z powrotem do centralnego serwera. Ponadto oczekiwanie na aktualizacje ze wszystkich urządzeń może powodować znaczne opóźnienia: “To opóźnienie może spowolnić procedurę szkoleniową lub nawet spowodować jej niepowodzenie”.”

Dlatego też naukowcy opracowali nowe podejście o nazwie FTTE (Federated Tiny Training Engine). FTTE zawiera trzy główne innowacje, które znacznie zmniejszają obciążenie pamięci i komunikacji wymagane przez każde urządzenie mobilne. Polegają one na wysyłaniu tylko podzbioru parametrów modelu do urządzeń zmniejszających pamięć, aktualizowaniu modelu przy użyciu podejścia asynchronicznego i obliczaniu wpływu aktualizacji każdego urządzenia na podstawie czasu jej otrzymania, co zapewnia, że starsze dane nie utrudniają postępu.

Zespół przetestował swoją metodę poprzez symulacje na setkach różnych urządzeń, różnych modelach i zestawach danych. Rezultat był imponujący - szkolenie zakończyło się nawet o 81 procent szybciej niż w przypadku standardowych metod uczenia federacyjnego. Narzut pamięci na urządzeniu został zmniejszony o 80 procent, a obciążenie komunikacyjne o 69 procent, przy jednoczesnym zachowaniu dokładności innych metod.

Zauważając, że celowo usprawnili proces, aby umożliwić szybsze szkolenie i oszczędzić żywotność baterii mniejszych, mniej wydajnych urządzeń, powiedział Tenison: “Ponieważ chcemy, aby model trenował tak szybko, jak to możliwe, aby oszczędzać baterię tych urządzeń o ograniczonych zasobach, mamy kompromis w dokładności. Ale niewielki spadek dokładności może być akceptowalny w niektórych zastosowaniach, zwłaszcza że nasza metoda działa znacznie szybciej”.”

Tenison podkreślił również skalowalność FTTE i doskonałą wydajność w przypadku większych grup urządzeń, dodając: “Nie każdy ma najnowszego iPhone'a Apple. Na przykład w wielu krajach rozwijających się użytkownicy mogą mieć mniej wydajne telefony komórkowe. Dzięki naszej technice możemy przenieść korzyści płynące z federacyjnego uczenia się do tych ustawień”.”

W przyszłości naukowcy planują zbadać, w jaki sposób ich metodologia może poprawić spersonalizowaną wydajność modeli sztucznej inteligencji na każdym urządzeniu. Zależy im na przeprowadzeniu większych eksperymentów na prawdziwym sprzęcie. Przełom ten jest częściowo finansowany przez stypendium doktoranckie Takeda.

Jeśli szukasz automatyzacji AI dla swojej firmy, rozważ wdrożenie rozwiązań AI z implementi.ai.

Oryginalną historię można znaleźć tutaj link.