W świecie sztucznej inteligencji duże modele językowe (LLM), takie jak ChatGPT i Claude, ewoluowały od prostych generatorów odpowiedzi. Ich możliwości rozszerzyły się i obejmują obecnie odzwierciedlanie złożonych pojęć – tonu wypowiedzi, osobowości, uprzedzeń, a nawet nastrojów. Nadal jednak pozostaje pytanie – w jaki sposób te zaawansowane modele odzwierciedlają tak abstrakcyjne pojęcia? Tajemnica ta wciąż czeka na pełne wyjaśnienie.
Tworząc warunki do nowych odkryć, pionierski zespół z MIT i Uniwersytetu Kalifornijskiego w San Diego opracował innowacyjne podejście. Ich narzędzie sprawdza, czy w modelu LLM występują ukryte uprzedzenia, cechy osobowości lub nastroje, a także czy modele te posiadają ukryte aspekty pojęć abstrakcyjnych. Narzędzie to może odszyfrować powiązania wewnątrz modelu, które kodują konkretne pojęcia. Co jeszcze bardziej fascynujące, narzędzie to może manipulować tymi powiązaniami – proces ten nazywany jest “sterowaniem” – wzmacniając lub osłabiając daną koncepcję w odpowiedzi modelu.
Naukowcy przetestowali swoją metodę, skutecznie identyfikując i sterując ponad 500 ogólnymi pojęciami w niektórych z największych obecnie dostępnych modeli językowych (LLM). Reprezentacje te można było następnie w swobodny sposób wzmacniać lub osłabiać w dowolnych generowanych odpowiedziach. Wyobraź sobie, że możesz wyodrębnić z modelu cechy charakterystyczne dla “influencera” lub nawet “zwolennika teorii spiskowych”, a następnie dostosowywać te aspekty w dowolnej interakcji z AI!
Aby zilustrować praktyczne zastosowanie tej technologii, zespołowi udało się zidentyfikować reprezentację pojęcia “zwolennika teorii spiskowych” w ramach dużego modelu językowego opartego na obrazach. Dzięki udoskonaleniu tej reprezentacji model udzielił odpowiedzi w tonie i z perspektywy zwolennika teorii spiskowych na temat pochodzenia słynnego zdjęcia Ziemi “Blue Marble”, wykonanego podczas misji Apollo 17.
Zespół naukowców doskonale zdaje sobie sprawę z tej metody i możliwości jej nadużycia. Ostrzegają przed niewłaściwym wykorzystaniem wyników swoich badań, ale jednocześnie doceniają ich zalety. Dzięki identyfikacji ukrytych koncepcji i potencjalnych słabych punktów mogą następnie poprawić bezpieczeństwo i wydajność modelu.
Adityanarayanan “Adit” Radhakrishnan, adiunkt matematyki na MIT, wyjaśnia, że choć modele te z natury rzeczy zawierają te pojęcia, nie zawsze są one aktywnie ujawniane. “[Nasza] metoda pokazuje, jak wydobyć te różne pojęcia i wykorzystać je w sposób, na który same podpowiedzi nie dają odpowiedzi” – wyjaśnia.
Wraz z rosnącą popularnością asystentów opartych na sztucznej inteligencji, takich jak ChatGPT firmy OpenAI, Gemini firmy Google oraz Claude firmy Anthropic, naukowcy próbują zrozumieć, w jaki sposób modele te interpretują pojęcia abstrakcyjne. Radhakrishnan porównuje dotychczasowe metody odkrywania takich pojęć do łowienia ryb za pomocą ogromnej sieci, co często skutkuje złowieniem zbyt wielu gatunków niebędących celem połowu.
Dla porównania, ich podejście jest znacznie bardziej precyzyjne i skupia się na typach lub “gatunkach” będących przedmiotem zainteresowania w dziedzinie sztucznej inteligencji. Ta ukierunkowana metoda pozwala zidentyfikować i “kierować” dowolną interesującą nas koncepcją w ramach modelu LLM na podstawie konkretnych zapytań.
Dalszy rozwój tej metody polegał na wyszkoleniu rekurencyjnych maszyn cech (RFM) do rozpoznawania wzorców liczbowych w modelu LLM reprezentującym określone pojęcia. Metodologia ta okazała się wszechstronna i umożliwiała wyszukiwanie oraz manipulowanie dowolnymi pojęciami w ramach modelu LLM. Naukowcy byli w stanie dostosować model LLM tak, aby udzielał odpowiedzi w określonym tonie lub z określonej perspektywy, a nawet wzmocnić w nim koncepcję “antyodmowy”, dzięki czemu odpowiadał na zapytania, które model zazwyczaj by odrzucał!
Radhakrishnan sugeruje, że takie podejście mogłoby szybko zidentyfikować i zminimalizować wszelkie słabe punkty w modelach LLM. Oprócz możliwości dostosowywania odpowiedzi generowanych przez sztuczną inteligencję do indywidualnych potrzeb, zespół udostępnił publicznie kod źródłowy projektu. Radhakrishnan podsumował to następująco: “[Istnieją sposoby, dzięki którym] możemy tworzyć wysoce wyspecjalizowane modele LLM, które nadal są bezpieczne w użyciu, ale jednocześnie naprawdę skuteczne w wykonywaniu określonych zadań”. Realizacja całego projektu badawczego była możliwa dzięki wsparciu Narodowej Fundacji Naukowej (National Science Foundation), Fundacji Simonsa (Simons Foundation), instytutu TILOS oraz Biura Badań Marynarki Wojennej Stanów Zjednoczonych (U.S. Office of Naval Research).
Więcej fascynujących szczegółów znajdziesz w artykuł oryginalny.
Ta strona używa plików cookie.