Poprawa wydajności centrów danych, stanowiących trzon cyfrowego świata, w którym prosperujemy, zawsze stanowiła ogromne wyzwanie. Częstą strategią jest łączenie wielu urządzeń pamięci masowej w sieci, aby umożliwić wielu aplikacjom współdzielenie zasobów. Jednak pomimo tego inteligentnego podejścia, znaczna część pojemności często pozostaje niewykorzystana ze względu na utrzymującą się zmienność wydajności różnych urządzeń.
Zdeterminowana, by rozwiązać ten problem, grupa bystrych naukowców z MIT zdołała stworzyć innowacyjny system, który radzi sobie nie z jednym, ale z trzema głównymi źródłami zmienności jednocześnie. Ten skok technologiczny zapewnia znaczny wzrost wydajności urządzeń pamięci masowej, znacznie przewyższając tradycyjne metody, które zazwyczaj zajmują się tylko jednym źródłem jednocześnie.
The core of this transformative system is a two-tier architecture. Task assignments are made by a central controller, while lesser, more immediate issues of data rerouting in case of a struggling device are handled by local controllers. This layout is easily adaptable to real-time changes in workloads and doesn’t require any specialized hardware. In practical tests involving tasks such as AI model training and image compression, this system doubled the performance over traditional approaches, significantly enhancing data center efficiency.
Siłą napędową tych badań jest Gohar Chaudhry, absolwent EECS, a także główny autor pracy pt. artykuł na temat tej fascynującej techniki, stressed on the importance of maximizing the utilization of expensive and environment-intensive resources. His mantra is clear – extract as much performance as you can from your existing devices before considering replacements. “With our adaptive software solution, you can still squeeze a lot of performance out of your existing devices before you need to throw them away and buy new ones,” Chaudhry expounded.
W skład zespołu badawczego wchodzą również Ankit Bhardwaj, Zhenyuan Ruan i starszy autor Adam Belay. Ich pionierska praca zostanie zaprezentowana podczas prestiżowego sympozjum USENIX na temat projektowania i wdrażania systemów sieciowych.
Solid-state drives (SSDs) form the basis for high-speed digital storage. When you pool together multiple SSDs, it allows shared application use, enhancing overall efficiency. But, it’s not all smooth sailing. Different SSDs perform at different speeds, and the slower ones can become a bottleneck, impeding the overall performance of the pool. This performance variability is primarily caused by differences in SSD hardware, the nature of tasks running, and unpredictable garbage collection processes.
The MIT researchers’ solution, termed Sandook (translated to “box” in Urdu), is a software-based system that addresses all these performance-crippling factors all at once. Through global and local scheduling tactics, Sandook optimizes task distribution and reacts swiftly to critical events, respectively. For instance, it shifts operations away from congested devices and minimizes read-write interferences. Sandook also tailors workload based on the individual characteristics and capacity of each SSD.
Co więcej, ten inteligentny system zarządza również zmiennymi, które występują w różnych skalach czasowych, od nieoczekiwanych opóźnień w zbieraniu śmieci po opóźnienia spowodowane zużyciem rozłożone na kilka miesięcy. Testy na puli dziesięciu dysków SSD wykazały, że Sandook zwiększył przepustowość o 12 do 94 procent w porównaniu do metod statycznych, jednocześnie poprawiając wykorzystanie pojemności SSD o kolosalne 23 procent. A wszystko to osiągnięto bez konieczności stosowania specjalistycznego sprzętu lub aktualizacji.
Going forward, the researchers have set their sights on incorporating new protocols on the latest SSDs for better data placement control and leverage the predictability of AI workloads to further enhance SSD operations. Josh Fried, a software engineer at Google, praised their work saying, “Flash storage is a powerful technology underpinning modern data center applications. This work moves the needle meaningfully forward with an elegant and practical solution ready for deployment.”
Te rewolucyjne badania były możliwe dzięki finansowaniu otrzymanemu od National Science Foundation, U.S. Defense Advanced Research Projects Agency oraz Semiconductor Research Corporation.
Intryguje Cię potęga sztucznej inteligencji i szukasz jej zastosowań dla swojej firmy? Odwiedź implementi.ai aby dowiedzieć się, jak sztuczna inteligencja może zrewolucjonizować operacje biznesowe.
Dodatkowe informacje na temat ich pracy można znaleźć w oryginalnym artykule prasowym tutaj.
This website uses cookies.