Dlaczego duże modele językowe pomijają instrukcje i jak rozwiązać ten problem?

W ciągu ostatnich kilku lat duże modele językowe (LLM) znalazły się w centrum uwagi sztucznej inteligencji. Są wszędzie - pomagają ludziom pisać, kodować, badać, a nawet prowadzić czaty wsparcia. Jednak pomimo całego ich talentu, nawet najbardziej zaawansowane modele, takie jak GPT-4 i Claude-3, nie są bezbłędne. Jeśli kiedykolwiek zdarzyło ci się przekazać jednemu z nich duże, skomplikowane zapytanie i miałeś wrażenie, że część twojej prośby po prostu rozpłynęła się w powietrzu, nie jesteś sam. Czasami ci asystenci AI potykają się podczas wykonywania wieloetapowych lub złożonych instrukcji, pozostawiając ci odpowiedzi, które są częściowe lub nieco nietrafione.

Dlaczego te modele pomijają część instrukcji?

Zasadniczo, LLM przetwarzają wszystko, co napiszesz, dzieląc to na małe fragmenty zwane tokenami, a następnie odpowiadają po jednym tokenie na raz. Ze względu na tę sekwencyjną logikę, to, co umieszczasz na początku podpowiedzi, często jest bardziej lubiane niż to, co następuje później. Jeśli ciągle będziesz dodawać instrukcje, szczegóły na końcu mogą zostać zagmatwane, źle zrozumiane lub całkowicie pominięte.

Są też inne czynniki. Mechanizm uwagi - zasadniczo sposób, w jaki model decyduje, na czym się skupić - działa świetnie w przypadku krótkich i jasnych podpowiedzi. Ale gdy instrukcje stają się dłuższe i bardziej poplątane, to skupienie staje się coraz mniejsze. To “rozmycie informacji” oznacza, że modelowi trudniej jest śledzić każdą prośbę użytkownika. Co więcej, sztuczna inteligencja jest zwykle szkolona w zakresie prostych, jednoetapowych pytań, więc rozwija umiejętności w tym zakresie i może mieć trudności z zadaniami, które są bardziej wielowarstwowe lub szczegółowe.

Do tego dochodzi brutalna rzeczywistość limitów tokenów. Każdy model ma limit - daj mu zbyt długą podpowiedź, a wszystko, co przekroczy ten limit, po prostu nie zostanie wykonane. Model nie może “zobaczyć” tego, co jest poza jego zasięgiem, więc te instrukcje mogą równie dobrze nie istnieć.

Jak uzyskać lepsze, pełniejsze odpowiedzi

Oto dobra wiadomość: chociaż LLM mają te wady, istnieją praktyczne obejścia. Zacznij od podzielenia dużych, złożonych podpowiedzi na mniejsze, bardziej przejrzyste kroki. Korzystanie z wypunktowania lub numeracji pomaga modelowi traktować każdy element indywidualnie, zamiast zakopywać żądania w akapitach.

Bądź bezpośredni i wyraźny. Jeśli chcesz, aby sztuczna inteligencja wykonała każdy krok, powiedz to - nie zostawiaj miejsca na niejasności. A jeśli potrzebujesz, aby model udzielił bardzo precyzyjnej odpowiedzi, czasami najlepiej jest podzielić zadanie na kilka podpowiedzi, obsługując jedną część na raz.

Jeśli chcesz, aby wszystko działało sprawnie, istnieją zaawansowane podejścia, takie jak podpowiedzi “Łańcuch myśli”, które zachęcają model do rozumowania problemów krok po kroku. Możesz także grupować żądania, używać spójnych etykiet i utrzymywać krystalicznie czyste formatowanie, aby pomóc sztucznej inteligencji przetwarzać każdą instrukcję bez zamieszania.

Różne modele mają swoje własne dziwactwa - to, co działa z jednym, może zawieść z innym. Spróbuj uruchomić podpowiedzi w wielu modelach, dostosowując takie elementy, jak format i długość, a nawet dostrajając model (jeśli jesteś obeznany z technologią). W niektórych przypadkach połączenie zewnętrznych narzędzi lub usług z przepływem pracy może zapewnić dodatkową dokładność wyników, której szukasz.

Więc tak, pomijanie instrukcji jest dziwactwem LLM, które może być frustrujące. Jednak wiedza o tym, jak działają te systemy - i chęć poeksperymentowania - oznacza, że prawie zawsze możesz sprawić, by dostarczały lepszych, pełniejszych wyników, niezależnie od tego, czy tworzysz wpis na blogu, analizujesz dane, czy budujesz kolejną aplikację.

Jeśli chcesz dowiedzieć się, dlaczego LLM zachowują się w ten sposób i co jeszcze możesz zrobić, zapoznaj się z oryginalnym artykułem tutaj.