Zwiększanie wydajności centrów danych: Przełom w wydajności urządzeń pamięci masowej

Poprawa wydajności centrów danych, stanowiących trzon cyfrowego świata, w którym prosperujemy, zawsze stanowiła ogromne wyzwanie. Częstą strategią jest łączenie wielu urządzeń pamięci masowej w sieci, aby umożliwić wielu aplikacjom współdzielenie zasobów. Jednak pomimo tego inteligentnego podejścia, znaczna część pojemności często pozostaje niewykorzystana ze względu na utrzymującą się zmienność wydajności różnych urządzeń.

Innowacyjny przełom od MIT

Zdeterminowana, by rozwiązać ten problem, grupa bystrych naukowców z MIT zdołała stworzyć innowacyjny system, który radzi sobie nie z jednym, ale z trzema głównymi źródłami zmienności jednocześnie. Ten skok technologiczny zapewnia znaczny wzrost wydajności urządzeń pamięci masowej, znacznie przewyższając tradycyjne metody, które zazwyczaj zajmują się tylko jednym źródłem jednocześnie.

Rdzeniem tego transformacyjnego systemu jest architektura dwupoziomowa. Zadania są przydzielane przez centralny kontroler, podczas gdy mniejsze, bardziej bezpośrednie kwestie przekierowywania danych w przypadku awarii urządzenia są obsługiwane przez kontrolery lokalne. Układ ten można łatwo dostosować do zmian obciążenia w czasie rzeczywistym i nie wymaga on żadnego specjalistycznego sprzętu. W praktycznych testach obejmujących zadania takie jak szkolenie modeli sztucznej inteligencji i kompresja obrazu, system ten podwoił wydajność w porównaniu z tradycyjnymi podejściami, znacznie zwiększając wydajność centrum danych.

Siłą napędową tych badań jest Gohar Chaudhry, absolwent EECS, a także główny autor pracy pt. artykuł na temat tej fascynującej techniki, Podkreślił znaczenie maksymalizacji wykorzystania drogich i środowiskowych zasobów. Jego mantra jest jasna - wydobądź jak najwięcej wydajności z istniejących urządzeń, zanim zaczniesz rozważać ich wymianę. “Dzięki naszemu adaptacyjnemu rozwiązaniu programowemu nadal możesz wycisnąć dużo wydajności z istniejących urządzeń, zanim będziesz musiał je wyrzucić i kupić nowe” - wyjaśnił Chaudhry.

W skład zespołu badawczego wchodzą również Ankit Bhardwaj, Zhenyuan Ruan i starszy autor Adam Belay. Ich pionierska praca zostanie zaprezentowana podczas prestiżowego sympozjum USENIX na temat projektowania i wdrażania systemów sieciowych.

Jak to działa?

Dyski półprzewodnikowe (SSD) stanowią podstawę szybkiej cyfrowej pamięci masowej. Połączenie wielu dysków SSD umożliwia współdzielenie aplikacji, zwiększając ogólną wydajność. Ale to nie wszystko. Różne dyski SSD działają z różnymi prędkościami, a te wolniejsze mogą stać się wąskim gardłem, obniżając ogólną wydajność puli. Ta zmienność wydajności jest głównie spowodowana różnicami w sprzęcie SSD, charakterem uruchomionych zadań i nieprzewidywalnymi procesami odśmiecania.

Rozwiązanie opracowane przez naukowców z MIT, nazwane Sandook (co w języku urdu oznacza ’pudełko“), to system oparty na oprogramowaniu, który jednocześnie rozwiązuje wszystkie te czynniki obniżające wydajność. Dzięki globalnej i lokalnej taktyce planowania, Sandook optymalizuje dystrybucję zadań i szybko reaguje na krytyczne zdarzenia. Na przykład, przenosi operacje z dala od przeciążonych urządzeń i minimalizuje zakłócenia odczytu i zapisu. Sandook dostosowuje również obciążenie pracą w oparciu o indywidualne cechy i pojemność każdego dysku SSD.

Co więcej, ten inteligentny system zarządza również zmiennymi, które występują w różnych skalach czasowych, od nieoczekiwanych opóźnień w zbieraniu śmieci po opóźnienia spowodowane zużyciem rozłożone na kilka miesięcy. Testy na puli dziesięciu dysków SSD wykazały, że Sandook zwiększył przepustowość o 12 do 94 procent w porównaniu do metod statycznych, jednocześnie poprawiając wykorzystanie pojemności SSD o kolosalne 23 procent. A wszystko to osiągnięto bez konieczności stosowania specjalistycznego sprzętu lub aktualizacji.

Co czeka nas w przyszłości?

W przyszłości naukowcy postawili sobie za cel włączenie nowych protokołów do najnowszych dysków SSD w celu lepszej kontroli rozmieszczenia danych i wykorzystania przewidywalności obciążeń AI w celu dalszego usprawnienia operacji SSD. Josh Fried, inżynier oprogramowania w Google, pochwalił ich pracę, mówiąc: “Pamięć flash jest potężną technologią leżącą u podstaw nowoczesnych aplikacji w centrach danych. Ta praca znacznie posuwa się naprzód dzięki eleganckiemu i praktycznemu rozwiązaniu gotowemu do wdrożenia”.”

Te rewolucyjne badania były możliwe dzięki finansowaniu otrzymanemu od National Science Foundation, U.S. Defense Advanced Research Projects Agency oraz Semiconductor Research Corporation.

Intryguje Cię potęga sztucznej inteligencji i szukasz jej zastosowań dla swojej firmy? Odwiedź implementi.ai aby dowiedzieć się, jak sztuczna inteligencja może zrewolucjonizować operacje biznesowe.

Dodatkowe informacje na temat ich pracy można znaleźć w oryginalnym artykule prasowym tutaj.