Skok naprzód w technologii sztucznej inteligencji zapoczątkowany przez naukowców z MIT oferuje transformacyjne podejście do trenowania modeli sztucznej inteligencji na urządzeniach codziennego użytku, w tym smartwatchach i czujnikach. Zwiększając wydajność treningu sztucznej inteligencji z zachowaniem prywatności o około 81 procent, naukowcy utorowali drogę dla szerszej gamy urządzeń o ograniczonych zasobach do korzystania z bardziej precyzyjnych modeli sztucznej inteligencji przy jednoczesnym zachowaniu bezpieczeństwa danych użytkownika. To przybliża nas o krok do prawdziwej demokratyzacji dostępu do sztucznej inteligencji.
Uczenie federacyjne - podejście, które pozwala sieci połączonych urządzeń na trenowanie uniwersalnie współdzielonego modelu sztucznej inteligencji - działa teraz z większą wydajnością dzięki zespołowi. W tej konfiguracji model sztucznej inteligencji jest najpierw dystrybuowany z centralnego serwera do różnych urządzeń. Każde urządzenie, wykorzystując swoje dane, trenuje model, a następnie wysyła modyfikacje z powrotem do serwera. Strategia ta zapewnia, że dane nigdy nie opuszczają urządzenia, zapewniając dodatkową warstwę bezpieczeństwa danych. Jednak nie wszystkie urządzenia w tej sieci mają wymaganą pojemność, moc i łączność, aby skutecznie pracować z modelem, co czasami prowadzi do opóźnień, które wpływają na ogólną wydajność treningu.
Enter MIT’s ingenious techniques to manage these memory constraints and connection bottlenecks. Their method is specifically designed to operate within a network made up of diverse devices with different resources and restrictions. This makes it increasingly likely to see the use of AI models in high-stake areas with strict security mandates, such as healthcare and finance.
“This work is about bringing AI to small devices where it is not currently possible to run these kinds of powerful models. We carry these devices around with us in our daily lives. We need AI to be able to run on these devices, not just on giant servers and GPUs, and this work is an important step toward enabling that,” explains Irene Tenison, an electrical engineering and computer science (EECS) graduate student and lead author of the artykuł badawczy.
Addressing existing shortcomings in federated learning approaches, Tenison notes the challenge of devices with diverse capabilities and intermittent connectivity. They often have limited memory and computational power and can’t quickly transmit their updates back to the central server. Plus, waiting for updates from all devices can cause significant lag time: “This lag time can slow down the training procedure or even cause it to fail.”
This is why the researchers developed a new approach called FTTE (Federated Tiny Training Engine). The FTTE packs three main innovations that significantly reduce memory and communication overhead required by each mobile device. These consist of sending only subset model parameters to devices reducing memory, updating the model using an asynchronous approach, and calculating each device’s update impact based on when it was received, which ensures older data doesn’t hinder progress.
Zespół przetestował swoją metodę poprzez symulacje na setkach różnych urządzeń, różnych modelach i zestawach danych. Rezultat był imponujący - szkolenie zakończyło się nawet o 81 procent szybciej niż w przypadku standardowych metod uczenia federacyjnego. Narzut pamięci na urządzeniu został zmniejszony o 80 procent, a obciążenie komunikacyjne o 69 procent, przy jednoczesnym zachowaniu dokładności innych metod.
Noting that they intentionally streamlined the process to allow for faster training and conserve battery life of smaller, less capable devices, Tenison said: “Because we want the model to train as fast as possible to save the battery life of these resource-constrained devices, we do have a tradeoff in accuracy. But a small drop in accuracy could be acceptable in some applications, especially since our method performs so much faster.”
Tenison also highlighted FTTE’s scalability and superior performance with larger device groups, adding: “Not everyone has the latest Apple iPhone. In many developing countries, for instance, users might have less powerful mobile phones. With our technique, we can bring the benefits of federated learning to these settings.”
W przyszłości naukowcy planują zbadać, w jaki sposób ich metodologia może poprawić spersonalizowaną wydajność modeli sztucznej inteligencji na każdym urządzeniu. Zależy im na przeprowadzeniu większych eksperymentów na prawdziwym sprzęcie. Przełom ten jest częściowo finansowany przez stypendium doktoranckie Takeda.
Jeśli szukasz automatyzacji AI dla swojej firmy, rozważ wdrożenie rozwiązań AI z implementi.ai.
Oryginalną historię można znaleźć tutaj link.
This website uses cookies.