Odświeżanie słabszych

Tradycyjnie uważaliśmy niektóre architektury sieciowe za z natury wadliwe lub ograniczone w radzeniu sobie ze złożonymi zadaniami. Jednak te sieci neuronowe mogą być ofiarą niekorzystnego punktu początkowego w przestrzeni parametrów, a nie braku potencjału. Naukowcy odkryli, że łącząc te sieci z ustrukturyzowaną siecią “prowadzącą” przez krótki czas, mogli pokierować trudnymi sieciami w kierunku skutecznego uczenia się.

Technika ta, w przeciwieństwie do destylacji wiedzy - w której model ucznia naśladuje wyniki nauczyciela - opiera się na wewnętrznych reprezentacjach. W tym przypadku sieć docelowa absorbuje sposób, w jaki sieć prowadząca organizuje informacje w swoich warstwach, zamiast naśladować jej przewidywania. Nawet jeśli sieć przewodnika nie jest przeszkolona, proces ten ułatwia znaczący transfer wiedzy, zwiększając tym samym zdolność uczenia się.

Teoria ta została przetestowana przy użyciu głębokich, w pełni połączonych sieci (FCN). Naukowcy krótko dopasowali sieci do sieci prowadzącej przy użyciu losowego szumu przed faktycznym treningiem. Wyniki były zdumiewające - znane z nadmiernego dopasowania, sieci te stały się bardziej stabilne, uniknęły typowych pułapek FCN, wykazywały niższe straty treningowe i poprawiły swoją wydajność. “To imponujące, że mogliśmy wykorzystać podobieństwo reprezentacyjne, aby te tradycyjnie ‘kiepskie’ sieci faktycznie działały” - mówi Vighnesh Subramaniam ’23, MEng ’24, doktorant na Wydziale Elektrotechniki i Informatyki MIT i główny autor badania.

Zmiana gry dla sieci neuronowych

Badanie pokazuje, że poradnictwo, w przeciwieństwie do destylacji wiedzy, nie zawodzi w przypadku korzystania z sieci nieprzeszkolonych nauczycieli. Poradnictwo opiera się na wewnętrznej strukturze sieci, która niesie ze sobą cenne uprzedzenia architektoniczne. Te uprzedzenia działają jak kompas, kierując sieć na lepsze ścieżki uczenia się.

Implikacje tych badań nie kończą się jednak na poprawie wydajności. Sugerują one, że sukces sieci może być bardziej zależny od jej punktu początkowego w przestrzeni uczenia się niż od danych, na których jest trenowana. Dzięki połączeniu sieci z przewodnikiem, wpływ projektu architektonicznego można odizolować od wyuczonego doświadczenia. Wprowadzenie wskazówek zapewnia nową perspektywę oceny wkładu struktur sieciowych w efektywne uczenie się. Daje również naukowcom sposób na zrozumienie różnic między architekturami, pomagając udoskonalić teorie dotyczące optymalizacji sieci neuronowych i identyfikując, które komponenty mają wpływ na uczenie się.

Najważniejsze jest jednak to, że żadna sieć nie jest nie do naprawienia. Nawet te, które kiedyś zostały uznane za nieefektywne, mogą zostać dostosowane do nowoczesnych standardów dzięki odpowiednim wskazówkom. Obecnie zespół CSAIL bada, które elementy architektoniczne w największym stopniu przyczyniają się do tych ulepszeń, zamierzając wpłynąć na przyszłe projekty sieci neuronowych.

“Ogólnie przyjmuje się, że różne architektury sieci neuronowych mają określone mocne i słabe strony” - zauważyła Leyla Isik, adiunkt nauk kognitywnych na Uniwersytecie Johnsa Hopkinsa, która nie była zaangażowana w badanie. “To ekscytujące badanie pokazuje, że jeden typ sieci może odziedziczyć zalety innej architektury, nie tracąc przy tym swoich pierwotnych możliwości”.”

Badania, będące wspólnym wysiłkiem Subramaniama i jego współpracowników z MIT CSAIL, były wspierane przez takie organizacje jak Center for Brains, Minds, and Machines, National Science Foundation, MIT-IBM Watson AI Lab oraz U.S. Department of the Air Force Artificial Intelligence Accelerator. Ich przełomowe odkrycia zostały niedawno zaprezentowane na konferencji i warsztatach poświęconych neuronowym systemom przetwarzania informacji (NeurIPS).

Przeczytaj oryginalny artykuł z MIT News tutaj: https://news.mit.edu/2025/guided-learning-lets-untrainable-neural-networks-realize-their-potential-1218

Oto Justin Reich, profesor nadzwyczajny na Wydziale Porównawczych Studiów Mediów/Programu Pisania MIT. Reich napisał szalupę ratunkową dla nauczycieli w formie przewodnika zatytułowanego "Przewodnik po sztucznej inteligencji w szkołach: Perspektywy dla zakłopotanych"przez MIT Teaching Systems Lab. Publikacja ma na celu pomóc nauczycielom K-12 w żeglowaniu po niezbadanych wodach sztucznej inteligencji w edukacji. "Przez całą moją karierę starałem się być pomostem między badaniami edukacyjnymi a praktycznymi spostrzeżeniami. Moim celem jest uproszczenie i dzielenie się spostrzeżeniami na temat złożonych koncepcji, takich jak sztuczna inteligencja", mówi Reich.

Kompas, nie mapa

W tym przewodniku nie znajdziesz ścisłych zasad ani "najlepszych praktyk". Treść jest zróżnicowana i zawiera prowokujące do myślenia doświadczenia i spostrzeżenia ponad 100 uczniów i nauczycieli z całej Ameryki. Zamiast naciskać na podejście "jeden rozmiar dla wszystkich", stymuluje dialog i zachęca do kultury eksperymentowania w klasach. Etos Reicha jest zgodny z tym podejściem, opowiadając się za pokorną akceptacją faktu, że niektóre strategie mogą działać lepiej niż inne - zrozumienie, które z czasem stanie się jaśniejsze.

Ważne pytania i rozmowy

Pojawienie się sztucznej inteligencji spowodowało napływ pytań. Jak chronić integralność akademicką? Jak chronić prywatność danych studentów? I jak zmienia się nauka, gdy uczniowie mogą korzystać ze sztucznej inteligencji, aby ominąć ciężką pracę myślenia? Reich twierdzi, że dopiero zaczynamy zastanawiać się nad tymi pytaniami. Scenariusz, na który zwraca uwagę, jest podobny do tego, w którym siedzimy w pokoju nauczycielskim, rozmawiając o sztucznej inteligencji, zanim zaprosimy uczniów, rodziców i inne osoby do przyłączenia się do dyskusji. Porównując to do wczesnych dni lotnictwa, autorzy przewodnika zauważają, że przewidywanie, co zadziała, byłoby na tym etapie przedwczesne.

Wyciąganie wniosków z historii

Reich otwarcie mówi o potencjalnych problemach, które przed nami stoją. "Poruszamy się po omacku", szczerze przyznaje, rysując podobieństwa do wcześniejszych błędów związanych z technologią w klasie. Zastanawiając się nad błędnymi strategiami, takimi jak zniechęcanie uczniów do korzystania z Wikipedii lub szukanie przestarzałych znaczników wiarygodności na stronach internetowych, Reich wzywa do ostrożności. Opowiada się za podejściem opartym na dowodach, a nie na szeroko zakrojonych założeniach dotyczących sztucznej inteligencji, opowiadając się za próbami, obserwacją i uczeniem się na podstawie wyników.

Tak więc przewodnik Reicha i odpowiadająca mu seria podcastów "Maszyna do prac domowych"we współpracy z dziennikarzem Jesse Dukesem, zapewniają istotne zasoby dla nauczycieli poruszających się po sztucznej inteligencji w klasie. Reich zachęca do zróżnicowanej rozmowy na temat sztucznej inteligencji, angażując głosy różnych interesariuszy. Dialog ten został dodatkowo wzmocniony poprzez godzinny program radiowy, który był emitowany w publicznych stacjach radiowych w całym kraju, docierając w ten sposób do szerszej publiczności.

Podczas gdy wymagania związane z poruszaniem się po nowych technologiach, takich jak sztuczna inteligencja, mogą być wysokie, Reich podkreśla potrzebę ostrożności, współpracy i zbiorowej chęci uczenia się na podstawie naszych wcześniejszych doświadczeń - ponieważ w przeciwieństwie do poprzednich technologii, sztuczna inteligencja przeniknęła do życia uczniów nie za pośrednictwem tradycyjnych kanałów, ale za pośrednictwem ich smartfonów. Wywiera to jeszcze większą presję na nauczycieli, aby reagowali bez jasnych wskazówek lub wypróbowanych i przetestowanych praktyk. Nie oznacza to jednak, że należy odmówić im głosu w kształtowaniu jej wykorzystania. Jak mówi Reich: "Sztuczna inteligencja już tu jest. Nauczyciele nie mogą decydować o jej istnieniu, ale powinni mieć duży wpływ na kształtowanie jej przyszłości".

Aby uzyskać więcej informacji i dołączyć do tej trwającej rozmowy, możesz odwiedzić oryginalny artykuł z MIT News: Pomoc szkołom K-12 w poruszaniu się po złożonym świecie sztucznej inteligencji.

Naukowcy z MIT, Lawrence Berkeley National Lab i University of Orléans zajmują się tą sprawą, a ich najnowsze odkrycia przynoszą bardzo potrzebną jasność. W badaniu opublikowanym niedawno w PNAS, Zespołowi udało się stworzyć modele komputerowe, które z imponującą dokładnością odzwierciedlają rzeczywiste eksperymenty. Może to brzmieć technicznie, ale to wielka sprawa: posiadanie modeli, którym możemy zaufać, znacznie ułatwia projektowanie bezpieczniejszych metod przechowywania.

To, co sprawia, że badania te są przełomowe, to ich związek z laboratorium Mont Terri w Szwajcarii, miejscem, które od lat 90. znajduje się w czołówce badań nad odpadami nuklearnymi. Naukowcy skupili się na glinie Opalinus, naturalnym materiale uważanym za idealny do przechowywania materiałów radioaktywnych. Przeprowadzając eksperymenty w Mont Terri, a następnie wprowadzając te dane do zaawansowanych symulacji komputerowych, byli w stanie zobaczyć, jak sztuczne bariery (takie jak cement) oddziałują z gliną głęboko pod ziemią, nie tylko przez miesiące lub lata, ale potencjalnie przez wieki.

Postęp ten zawdzięczamy w dużej mierze nowym narzędziom. Najnowszy model komputerowy, zwany CrunchODiTi, jest znaczącym ulepszeniem w stosunku do starszych programów. W przeciwieństwie do poprzednich wersji, CrunchODiTi może uwzględniać niewielkie ładunki elektryczne w minerałach ilastych. Te szczegóły mają znaczenie, ponieważ pomagają przewidzieć, w jaki sposób cząstki radioaktywne mogą się poruszać - lub pozostawać w miejscu - przez bardzo długi czas.

Zespół skupił się na niewielkiej, kluczowej warstwie “skóry” o grubości zaledwie centymetra, gdzie cement i glina spotykają się. Interfejs ten odgrywa ogromną rolę w powolnej migracji pierwiastków promieniotwórczych przez podpowierzchnię. Dane z 13-letniego eksperymentu w Mont Terri dały naukowcom rzadkie, długoterminowe spojrzenie na zmiany w tej strefie skóry. Ich model komputerowy pasował do fizycznych obserwacji, dając prawdziwą pewność, że są na dobrej drodze.

Dauren Sarsenbayev, główny autor badania, uważa, że obserwowanie tych zmian jest niezwykłe. Zobaczenie, jak z czasem zmienia się połączenie cementu i gliny, pomaga wypełnić lukę między teorią a rzeczywistością. Obserwacje zespołu potwierdzają również istniejące od dawna koncepcje dotyczące sposobu gromadzenia się minerałów i zmian porowatości materiału, które mają znaczenie dla długoterminowego przechowywania odpadów.

Co to wszystko oznacza dla zarządzania odpadami jądrowymi? Po pierwsze, dokładniejsze modele mogłyby zastąpić przestarzałe symulacje wykorzystywane obecnie do oceny bezpieczeństwa składowisk odpadów jądrowych. Ma to kluczowe znaczenie, jeśli Stany Zjednoczone - lub jakikolwiek inny kraj - chcą ruszyć naprzód z budową stałego składowiska odpadów. Modele te są również elastyczne w ocenie różnych rodzajów skał, w tym formacji solnych, co zwiększa ich przydatność w przyszłości.

Patrząc w przyszłość, naukowcy planują jeszcze bardziej udoskonalić swoje symulacje, być może integrując uczenie maszynowe w celu przyspieszenia procesu. Naukowcy chcą również zebrać więcej danych z trwających eksperymentów, zbliżając się do momentu, w którym składowanie odpadów nuklearnych będzie rozwiązanym problemem, a nie zbliżającym się ryzykiem.

Dla Sarsenbajewa i jego zespołu ostateczny cel jest prosty: stworzyć solidne naukowo, godne zaufania rozwiązanie dla odpadów nuklearnych, któremu decydenci - i społeczeństwo - będą mogli zaufać. Jak sam mówi, ich praca znajduje się na przecięciu nauki, systemów i społeczeństwa: prawdziwie wspólne podejście do jednego z najbardziej zniechęcających wyzwań inżynieryjnych naszej ery.

Przeczytaj całą historię na stronie MIT News.

Kiedy mówi się o sztucznej inteligencji ogólnej (AGI), łatwo wyobrazić ją sobie jako odległą, zaawansowaną technologicznie koncepcję, która ma znaczenie tylko dla najbardziej zaawansowanych miast na świecie. W rzeczywistości jednak AGI - i jej młodsze rodzeństwo, codzienna technologia AI - ma potencjał, aby dokonać największych zmian tam, gdzie zasoby tradycyjnie pozostawały w tyle. Mój czas pracy u boku iCog Labs w Etiopii, firma współzałożona przez Bena Goertzela i Getneta Aseffę, pokazała mi, jak wiele obietnic i jak wiele wyjątkowych przeszkód pojawia się podczas pielęgnowania projektów AI w krajach rozwijających się. Jest tu ogromny potencjał, ale także wiele do nauczenia się.

Jak sztuczna inteligencja może pomóc zniwelować luki w edukacji

Sztuczna inteligencja może być prawdziwym przełomem w edukacji - zwłaszcza w miejscach, w których niedobór nauczycieli, podręczników, a nawet podstawowej infrastruktury jest codziennym wyzwaniem. A jeśli sięgniemy głębiej, przeszkody nie dotyczą tylko brakujących tablic: wiele dzieci w krajach takich jak Etiopia ma uczyć się w językach, które ledwo rozumieją, przy użyciu materiałów, które nie odzwierciedlają ich prawdziwego życia ani kultury. Odpowiedzią nie jest tylko technologia dla samej technologii; zamiast tego chodzi o rozwiązania zrodzone z lokalnych spostrzeżeń, kreatywności i praktycznego partnerstwa.

UNESCO szacuje, że około 40% dzieci na całym świecie chodzi do szkoły w języku, którego w pełni nie rozumie, co oznacza, że tracą nie tylko słowa, ale także wszelkiego rodzaju możliwości. To jest właśnie miejsce, w którym narzędzia językowe oparte na sztucznej inteligencji błyszczą. Podczas gdy globalni giganci technologiczni często nie mają motywacji do wspierania małych lub niedofinansowanych społeczności językowych, ukierunkowane projekty wypełniają tę lukę. Obok Ciekawa nauka, Stworzyliśmy wspierane przez sztuczną inteligencję aplikacje do czytania w lokalnych językach Etiopii, z których korzysta obecnie ponad 85 000 osób. Są to proste narzędzia o niewielkich zasobach, które radzą sobie z najtrudniejszymi wyzwaniami językowymi, z którymi boryka się tak wiele dzieci.

Aby sięgnąć jeszcze głębiej, uruchomiliśmy Leyu - zdecentralizowaną platformę gromadzenia danych - skoncentrowaną na zbieraniu próbek językowych bezpośrednio z odległych wiosek. Gromadzone przez nas dane szkolą systemy tłumaczeń AI, dzięki czemu kolejny niedostatecznie reprezentowany język nie zostanie pominięty w cyfrowej rozmowie jutra.

Sprawianie, by nauka była ekscytująca i istotna

Oczywiście język to tylko część równania. Prawdziwy postęp edukacyjny zależy od treści, które mają znaczenie lokalne. Sztuczna inteligencja również odgrywa tu pewną rolę: może generować lekcje nauki o uprawach, które lokalne dzieci widzą każdego dnia, lub zadania matematyczne zbudowane wokół rytmów ich własnych rynków. To jest edukacja, która klika, ponieważ w końcu chodzi o nich.

Niektóre z naszych najbardziej dumnych prac zostały wdrożone na drodze dzięki Digitruck - w pełni mobilnej klasie wbudowanej w ciężarówkę. Częściowo dzięki wsparciu SingularityNET, Pojazd Digitruck jest wyposażony w komputery i urządzenia i dociera do najbardziej odległych miejsc w Etiopii. Dzieci testują kodowanie, a nawet zdobywają praktyczne doświadczenia ze sztuczną inteligencją - a wszystko to pozostając blisko swoich korzeni.

Patrząc wstecz, były też radosne, niezapomniane chwile. W latach 2015-2019 w ramach programu RoboSapiens studenci uniwersytetów programowali humanoidalne roboty do gry w piłkę nożną - połączenie kultury i zaawansowanych technologii, które wywołało natychmiastowy szum od Etiopii po Kenię i Nigerię. Niestety, praktyczne przeszkody, takie jak drogie cła importowe na elektronikę, wstrzymały program, przypominając, że ambicje techniczne wymagają wsparcia ze strony silnej polityki i infrastruktury.

Zakorzenienie AI w rzeczywistych potrzebach społeczności

Całej tej energii musi towarzyszyć ostrożność i rozwaga. W miarę jak sztuczna inteligencja wkracza do sal lekcyjnych i codziennego życia, ważne jest, aby nie pozwolić tym narzędziom zastąpić podstawowych umiejętności lub osłabić nauczycieli. Celem jest raczej pomoc nauczycielom w robieniu tego, co robią najlepiej - rozwijaniu ciekawości i niezależnego myślenia - przy jednoczesnym wspieraniu ich nowymi zasobami.

Nie chodzi o uniwersalne zasady. Zamiast tego same społeczności muszą kierować tym, co robi dla nich sztuczna inteligencja. Ten rodzaj znaczącego, oddolnego zaangażowania jest tym, co zapewni, że sztuczna inteligencja poprawi edukację, a nie stanie się tylko kolejną barierą.

Sprawiedliwa, odpowiedzialna sztuczna inteligencja w edukacji nie jest prosta ani szybka. Oznacza to pracę ramię w ramię z lokalnymi liderami, utrzymywanie niuansów kulturowych na pierwszym planie i planowanie ryzyka etycznego. Ale jest to warte każdego wysiłku. Kiedy dziecko w wiejskiej Etiopii po raz pierwszy koduje na laptopie Digitruck, wtedy wielkie tematy równości i wzmocnienia pozycji przestają być modnymi hasłami - i stają się prawdziwymi, żywymi doświadczeniami.

Oryginalny artykuł na Unite.AI

The Unseen Shortcomings in Healthcare Data and the Role of AI Education

Wonderfully highlighted by Leo Anthony Celi, an accomplished physician and senior research scientist at MIT’s Institute for Medical Engineering and Science, this oversight in AI education may create issues down the line. In a recent article, he explains how data bias, especially in clinical data primarily collected from white males, might lead to inefficiencies in AI systems when applied to more diverse populations. For instance, pulse oximeters often overestimate oxygen saturation levels in people of color due to their underrepresentation in clinical trials. This is only the tip of the iceberg, with countless more cases where medical equipment and data systems overlook population diversity, producing skewed results and potentially harmful decisions.

Another crucial issue orbits around the use of electronic health records (EHRs) as a basis for AI models. Although an essential part of medicine, EHRs were never intended to serve as learning systems, and they are ripe with inconsistencies and biases. Celi, however, is not all doom and gloom, advocating for ingenious ways of responsibly using the existing data instead of replacing the entire EHR infrastructure—something currently not feasible. Thankfully, innovative approaches such as transformer models are being explored to understand correlations between lab results, vital signs, and treatments better. This fascinating approach could help lessen the impact of missing or biased data, often affected by social determinants of health and implicit provider biases.

Addressing the Imperfections and Maximizing Learning

The challenges become apparent when you consider Celi’s experiences teaching AI in healthcare. Since starting in 2016, his MIT team realized that students were being taught to optimize models in terms of statistical performance rather than question the data’s integrity. A review of 11 online courses revealed the scale of this problem; only five courses talked about data bias and a mere two offered substantial discussions on the subject. As AI continues to establish its footprint in healthcare, the onus lies with educators to ensure students can not only build models but also scrutinize the data fueling them. Bridging this divide will require a shift in focus from solely model building to also understanding the data – an area Celi believes should account for at least half the course content.

One initiative helping to solve this puzzle is the MIT Critical Data consortium. They’ve been hosting international datathons since 2014. These sessions unite clinicians, data scientists, and healthcare professionals to collaboratively examine local datasets, aiming to understand health and disease within the unique cultural and systematic context of each region. These collaborations inspire an environment where critical thinking organically thrives.

Embracing the imperfections in data can also be a step towards improvement, albeit a challenging one. A good example is the MIMIC database, which took over 10 years to formulate a usable schema, largely due to users acknowledging and pointing out its flaws. An insightful reminder from Celi at this point is that even without all the answers, inspiring people to start asking the right questions can be a game-changer. As students and researchers engage with AI development in healthcare, they need to remain aware of its transformative potential and the ethical responsibilities that come with that.

For a more in-depth discussion on this subject with Leo Anthony Celi, visit MIT News.