Model rozumujący

Model rozumujący (ang. reasoning language model, RLM large reasoning model, LRM) – duży model językowy (LLM), który został dodatkowo wytrenowany w celu rozwiązywania wieloetapowych zadań wymagających rozumowania. Modele te sprawdzają się lepiej w zadaniach logicznych, matematycznych i programistycznych niż tradycyjne modele LLM, mają zdolność do nawracania. Modele RLM do tradycyjnych „osi skalowania” (wielkość zbioru treningowego, liczba hiperparametrów modelu, moc obliczeniowa w trakcie uczenia) dodają nową oś: moc obliczeniową podczas testowania.

Modele rozumujące powstały jako odpowiedź na ograniczoną ilość dostępnych danych treningowych wysokiej jakości.

Historia

2024

We wrześniu 2024 OpenAI wydała o1-preview, program LLM z ulepszonym rozumowaniem. Pełna wersja o1 ukazała się w grudniu 2024, wraz z opublikowaniem wyników następnego modelu o3.

W listopadzie 2024 Alibaba opublikowała wersje rozumujące swoich modeli LLM Qwen.

W grudniu 2024 Google wprowadził w Gemini funkcję Deep Research, która umożliwia wykonywania zadań wieloetapowych.

16 grudnia 2024 przeprowadzono eksperyment z wykorzystaniem modelu Llama 3B, który wykazał, że dzięki skalowaniu obliczeń w czasie testu stosunkowo mały model może uzyskać lepsze wyniki niż znacznie większy model Llama 70B w przypadku trudnych zadań wymagających rozumowania. Wynik ten podkreślił, że ulepszone strategie wnioskowania mogą odblokować ukryte możliwości rozumowania nawet w kompaktowych modelach.

2025

W styczniu 2025 firma DeepSeek wydała model R1, który jest konkurencyjny w stosunku do o1 przy niższych kosztach. 25 stycznia 2025 DeepSeek opublikowała model DeepSeek R1 z funkcją umożliwiającą jednoczesne korzystanie z możliwości wyszukiwania i wnioskowania, co pozwala na efektywniejszą integrację pobierania danych z procesami wnioskowania.

2 lutego 2025 OpenAI wydała Deep Research integrujące wnioskowanie i wyszukiwanie w sieci, dzięki czemu użytkownicy mogą wysyłać złożone zadania wymagające wieloetapowego wnioskowania i syntezy danych z wielu źródeł. Bazuje na modelu o3, a generowanie raportów wnioskowania mogło zająć od 5 do 30 minut.

Uczenie przez wzmacnianie

Trening RLMów za pomocą uczenia przez wzmacnianie (RL) polega na skonstruowaniu modelu nagrody $r(x,y)$ aby kierować procesem RL. Intuicyjnie model nagrody opisuje, jak pożądana/właściwa/dobra jest reakcja na dane polecenie. W przypadku RLMa polecenie opisuje zadanie wymagające rozumowania, a nagroda będzie wysoka, jeśli odpowiedź rozwiąże zadanie, lub niska, jeśli odpowiedź nie rozwiąże zadania.

W przypadku RLMów odpowiedź modelu $y$ można podzielić na wiele kroków, w takim przypadku zapisuje się je jako $y_{1},y_{2},\dots ,y_{n}$ .

Model nagradzania wyniku

Model nagradzania wyniku (ang. outcome reward model, ORM), to technika obliczająca nagrodę za krok $r(x,y_{1},\dots ,y_{i})$ określone na podstawie ostatecznej odpowiedzi: $r(x,y_{1},\dots ,y_{i})=r(x,y_{n})$.

ORM jest zwykle trenowany poprzez regresję logistyczną, która minimalizuje stratę entropii krzyżowej.

DeepSeek skorzystał z techniki ORM do trenowania modelu R1.

Model nagradzania procesu

Model nagradzania procesu (ang. process reward model, PRM), to technika nagradzania obliczająca nagrodę za krok $r(x,y_{1},\dots ,y_{i})$ określony na podstawie dotychczasowych kroków: $(x,y_{1},\dots ,y_{i})$ .

Biorąc pod uwagę częściową ścieżkę kroków $x,y_{1},\dots ,y_{m}$ można zapytać człowieka, czy dotychczasowe kroki były poprawne, niezależnie od tego, czy ostateczna odpowiedź będzie poprawna. Można to następnie wykorzystać jako binarny sygnał nagrody. Ponieważ etykiety ludzkie są kosztowne, można udoskonalić model bazowy, aby przewidywał etykiety ludzkie. PRM jest zwykle trenowany metodą regresji logistycznej na etykietach ludzkich, tj. poprzez minimalizację straty entropii krzyżowej pomiędzy prawdziwymi etykietami a etykietami przewidywanymi.

OpenAI w 2023 opublikowała 800 tys. etykiet kroków dla 75 tys. procesów, zebranych w sposób manualny. Osoba etykietująca miała do dyspozycji kroki rozwiązania i oznaczana ścieżkę jako „pozytywną”, jeśli krok postępuje w kierunku rozwiązania, „neutralną”, jeśli nie jest błędna, ale nie postępuje w kierunku rozwiązania, i „negatywną”, jeśli jest błędna. W momencie wprowadzenia etykiety „negatywnej” osoba etykietująca przestaje etykietować dane kroki myślenia.

Przykładowe modele

• Claude Sonnet 3.7 od Anthropic
• Gemini 2.5 Pro i 2.0 Flash Thinking od Google
• Grok 3 i 4 od xAI
• Magistral od Mistral AI
• o1, o3 od OpenAI
• R1 od DeepSeek

Zobacz też

• automatyczne rozumowanie
• duży model językowy