Dlaczego modele uczenia maszynowego mogą zawodzić w nowych warunkach i co możemy z tym zrobić?

Modele uczenia maszynowego mają wielu zwolenników, głównie ze względu na ich zdolność do analizowania ogromnych zbiorów danych i generowania bardzo dokładnych wyników. Nie są one jednak niepokonane. Wręcz przeciwnie – jak wynika z najnowszych odkryć naukowców z MIT. Odkryli oni słaby punkt w skądinąd solidnej zbroi najlepszych modeli – niezdolność do przenoszenia swojej wiarygodności z jednej sytuacji do drugiej.

Można by pomyśleć, że wysoka dokładność świadczy o możliwości uogólnienia wyników. Jednak zdaniem naukowców z MIT tak nie jest. Marzyeh Ghassemi, profesor nadzwyczajny na Wydziale Elektrotechniki i Informatyki MIT, sugeruje, że model, który w jednym kontekście może okazać się prawdziwą gwiazdą, w innym może zawieść nawet w przypadku 75% zbiorów danych. Radzi zachować ostrożność i nie polegać ślepo na średnich wskaźnikach wydajności podczas wdrażania modeli w rzeczywistych scenariuszach.

Kiedy modele zawodzą i co się za tym kryje

Pouczające artykuł Prezentacja zespołu podczas konferencji Neural Information Processing Systems (NeurIPS) w 2025 roku ujawnia, jak głęboko sięga ten problem. Zasadniczo naukowcy odkryli, że modele początkowo wyszkolone do diagnozowania chorób w jednym szpitalu na podstawie zdjęć rentgenowskich klatki piersiowej mogły osiągać fatalne wyniki w innym szpitalu. W czym tkwi problem? Zagregowane statystyki w dużej mierze pomijają tę rozbieżność, maskując słabe wyniki w odniesieniu do konkretnych grup pacjentów, takich jak osoby z określonymi schorzeniami, np. chorobami opłucnej lub powiększeniem kardiomediastinum.

Kluczową kwestią wskazaną przez naukowców była obecność fałszywych korelacji — zasadniczo zależności wyuczonych podczas szkolenia, które nie mają zastosowania w nowych środowiskach. Odkrycie choćby jednej z nich może mieć daleko idące, a nawet katastrofalne konsekwencje. Na przykład modele obrazowania mogą kojarzyć określone znaki widoczne na zdjęciach rentgenowskich z jednego szpitala z daną chorobą, ale nie rozpoznać tej samej choroby na zdjęciach z innego szpitala, na których znaki te nie występują. Oduczenie się tych fałszywych powiązań stanowi z pewnością wyzwanie.

Podważanie tradycyjnych przekonań i spojrzenie w przyszłość

Powszechnie uważano, że jeśli modele osiągały wysokie wyniki w jednym środowisku, to równie dobrze sprawdzą się w innym. To założenie, określane jako “dokładność na linii”, zostało obalone w wyniku badań przeprowadzonych przez zespół z MIT. Ich praca wykazała, że modele, które odniosły sukces w jednym kontekście, w innym mogą w rzeczywistości pozostawać w tyle.

Naukowcy poradzili sobie z tą sytuacją dzięki nowatorskiemu algorytmowi o nazwie OODSelect, którego opracowaniem kierował doktorant z MIT Olawale Salaudeen. Technika ta polega na analizie tysięcy modeli wytrenowanych na danych, a następnie przetestowanych na innych zbiorach danych. Algorytm zwraca uwagę na te modele, które osiągnęły znakomite wyniki w pierwotnym środowisku, ale znacznie zawiodły w nowym.

Jakie są dalsze kroki? Zespół udostępnił już swój kod oraz zidentyfikowane podzbiory innym użytkownikom, mając nadzieję, że społeczność zajmująca się uczeniem maszynowym z entuzjazmem przyjmie OODSelect. Dzięki temu organizacje, które napotkają obszary, w których ich modele osiągają słabe wyniki, będą mogły skorygować kurs, podejmując ukierunkowane działania mające na celu poprawę właśnie tych konkretnych obszarów.

“Mamy nadzieję, że udostępniony kod i podzbiory OODSelect posłużą jako pomost” – piszą naukowcy, wskazując na swoje dążenie do stworzenia testów porównawczych i modeli, które pozwolą uporać się z niekorzystnymi skutkami fałszywych korelacji.

Aby zapoznać się z bardziej szczegółowym omówieniem tego tematu, zapraszamy do przeczytania oryginalnego artykułu opublikowanego w serwisie MIT News: Dlaczego tak ważne jest, by wyjść poza zbyt ogólne wskaźniki uczenia maszynowego.