Co to jest RAG, fine-tuning i długi kontekst?
To trzy sposoby na to, żeby model językowy odpowiadał na podstawie Twojej wiedzy, a nie tylko tego, czego nauczył się w treningu. Nazwa RAG (retrieval-augmented generation) pochodzi z pracy Patricka Lewisa i współautorów z 2020 roku.
- Długi kontekst i projekty
- Dokumenty trafiają do modelu razem z pytaniem. W praktyce to projekt w ChatGPT albo Claude z dodanymi plikami albo wklejenie materiałów do polecenia. Nic nie trzeba budować.
- RAG
- Dokumenty dzieli się na fragmenty i zapisuje w wyszukiwarce. Przy każdym pytaniu system wyszukuje kilka pasujących fragmentów i przekazuje je modelowi razem z pytaniem. Model odpowiada na ich podstawie i może wskazać źródło.
- Fine-tuning (dostrajanie)
- Model trenuje się dalej na setkach albo tysiącach przykładów pytań i wzorcowych odpowiedzi. Zmienia się sposób, w jaki model odpowiada, a nie lista dokumentów, do których ma dostęp.
RAG, fine-tuning i długi kontekst w jednej tabeli
| Kryterium | Długi kontekst lub projekt | RAG | Fine-tuning |
|---|---|---|---|
| Co zmienia | Co model widzi przy jednym pytaniu. | Co model widzi przy każdym pytaniu, wybrane automatycznie. | Jak model się zachowuje: styl, format, klasyfikacja. |
| Aktualizacja wiedzy | Podmieniasz plik. | Podmieniasz dokument i ponownie go indeksujesz, zwykle automatycznie. | Nowy trening na nowym zestawie przykładów. |
| Koszt startu | Praktycznie zerowy. | Budowa wyszukiwarki, przygotowanie danych i testy. | Przygotowanie setek przykładów, trening i testy. |
| Koszt każdego pytania | Rośnie z liczbą stron w kontekście. | Niski, bo do modelu trafia tylko kilka fragmentów. | Krótsze polecenia, cena dostrojonego modelu zależy od dostawcy. |
| Źródło odpowiedzi | Model może cytować plik. | Łatwo pokazać, z którego fragmentu pochodzi odpowiedź. | Brak wskazania źródła. |
| Zmyślanie odpowiedzi | Model widzi cały materiał, ale przy bardzo długim kontekście liczy się ułożenie dokumentów i pytania. | Zależy od jakości wyszukiwania: zły fragment daje złą odpowiedź. | Nie rozwiązuje problemu braku wiedzy. |
| Dostępność w 2026 | Wszyscy duzi dostawcy. | Wszyscy duzi dostawcy i rozwiązania otwarte. | Ograniczona, opisujemy to niżej. |
Czy fine-tuning uczy model wiedzy o firmie?
Nie jest do tego przeznaczony: dokumentacja OpenAI przypisuje RAG dokładność odpowiedzi, a fine-tuningowi spójność zachowania modelu. W przewodniku o dokładności OpenAI opisuje dwie osie optymalizacji. Dostarczanie kontekstu, w tym przez RAG, „maximizes response accuracy”, a dostrajanie modelu „maximizes consistency of behavior”. W przewodniku o optymalizacji OpenAI dodaje, że dostrajanie pozwala modelowi konsekwentnie formatować odpowiedzi w określony sposób i skracać polecenia, a samo dobre polecenie może w zupełności wystarczyć. Google w dokumentacji Vertex AI zaleca zacząć od poleceń, a nadzorowane dostrajanie poleca do klasyfikacji, analizy wydźwięku i wyciągania danych, przy zbiorze rzędu 100 przykładów lub więcej. Cennik, który często się zmienia, lepiej trzymać w dokumencie niż w wagach modelu.
Kiedy wystarczy wkleić dokumenty albo użyć projektu?
Gdy cała baza wiedzy mieści się w kilkuset stronach: Anthropic pisze, że przy bazie mniejszej niż 200 000 tokenów, czyli około 500 stron materiałów, można przekazać ją modelowi w całości bez RAG. Okna kontekstu flagowych modeli OpenAI, Anthropic i Google mają w październiku 2026 roku około miliona tokenów. Dwa zastrzeżenia:
- Każde pytanie kosztuje tyle, ile wszystkie przesłane strony. Przy tysiącach pytań miesięcznie długi kontekst jest droższy od RAG, choć część kosztu obniża zapis kontekstu w pamięci podręcznej (prompt caching).
- Kolejność ma znaczenie. Anthropic podaje, że pytanie umieszczone po długich dokumentach poprawiało jakość odpowiedzi w testach nawet o 30%.
- Projekty w Claude same przełączają się na RAG, gdy materiały zbliżają się do limitu okna kontekstu albo go przekraczają. Według Anthropic zwiększa to pojemność projektu do 10 razy. Funkcja działa w planach Pro, Max, Team i Enterprise.
- Projekt w czacie pasuje do pracy zespołu. Na stronę dla klientów potrzebny jest osobny system, o którym piszemy w tekście chatbot AI na stronę firmy.
Ile kosztuje RAG?
Sam koszt modelu jest niski, a większość wydatków to praca nad danymi i testami. Zamiana tekstu na wektory do wyszukiwania (embeddingi) kosztuje w OpenAI 0,02 USD za milion tokenów w modelu text-embedding-3-small i 0,13 USD w text-embedding-3-large (stan na październik 2026). Zaindeksowanie 500 stron, czyli około 200 000 tokenów, kosztuje więc ułamek centa. Anthropic w opisie metody Contextual Retrieval podaje jednorazowy koszt 1,02 USD za milion tokenów dokumentów przy dopisywaniu kontekstu do każdego fragmentu. Prawdziwe koszty to: uporządkowanie dokumentów, wybór sposobu dzielenia na fragmenty, zestaw pytań testowych, serwer z wyszukiwarką i opieka po starcie. U nas wdrożenia AI zaczynają się od 2 290 zł netto.
Jak ograniczyć zmyślanie odpowiedzi w RAG?
Najwięcej daje lepsze wyszukiwanie, bo model odpowiada tylko tak dobrze, jak dobre fragmenty dostał. W testach Anthropic opisanych we wrześniu 2024 roku odsetek nieudanych wyszukiwań (wśród 20 najlepszych fragmentów) wynosił 5,7%. Dopisanie kontekstu do fragmentów obniżyło go do 3,7%, czyli o 35%. Połączenie z wyszukiwaniem po słowach kluczowych (BM25) dało 2,9%, czyli 49% mniej, a dodanie ponownego sortowania wyników (reranking) 1,9%, czyli 67% mniej. Poza tym:
- Każ modelowi odpowiadać wyłącznie na podstawie przekazanych fragmentów i mówić „nie wiem”, gdy odpowiedzi w nich nie ma.
- Pokazuj źródło przy odpowiedzi, żeby klient albo pracownik mógł je sprawdzić.
- Przygotuj kilkadziesiąt prawdziwych pytań z poprawnymi odpowiedziami i sprawdzaj je po każdej zmianie dokumentów.
- Usuń stare wersje cenników i regulaminów. Dwie sprzeczne wersje to najczęstsze źródło złych odpowiedzi.
Czy w 2026 roku da się jeszcze zrobić fine-tuning?
Coraz trudniej: OpenAI wygasza platformę do dostrajania, a u pozostałych dostawców wybór modeli jest wąski. Stan na październik 2026:
- OpenAI: „OpenAI is winding down the fine-tuning platform”. Platforma nie przyjmuje nowych użytkowników, a kwalifikujący się obecni klienci mogą tworzyć zadania treningowe do 6 stycznia 2027 roku, o ile model bazowy nie zostanie wyłączony wcześniej. Dostrojone modele działają do wyłączenia modelu bazowego.
- Google Gemini API i AI Studio: Google pisze, że nie ma już modelu, który obsługuje tam dostrajanie. Nadzorowane dostrajanie zostało w Vertex AI, na przykład dla modeli Gemini 3.5 Flash, 3.5 Flash-Lite i 2.5 Flash.
- Anthropic: nie oferuje dostrajania we własnym API. Jedyną publiczną drogą było dostrajanie Claude 3 Haiku w Amazon Bedrock, a AWS podaje, że model ten zakończył działanie 10 września 2026 roku w większości regionów.
- Modele otwarte, takie jak Bielik czy Llama, można dostrajać samodzielnie. To jednak własny serwer z kartami graficznymi i zespół, który to utrzyma. Piszemy o tym w porównaniu lokalny model AI czy API.
Kiedy co wybrać
- Długi kontekst albo projekt
- Kilka dokumentów, do kilkuset stron, z których korzysta zespół w czacie. Na przykład regulamin, oferta i procedury działu obsługi.
- RAG
- Setki lub tysiące dokumentów, częste zmiany, chatbot dla klientów albo asystent działu, który musi wskazywać źródło odpowiedzi.
- Fine-tuning
- Powtarzalne zadanie z jednym formatem wyniku, na przykład klasyfikacja zgłoszeń albo opisy produktów w stałym stylu, gdy masz setki dobrych przykładów i zestaw testów.
- Połączenie
- Duże systemy łączą RAG z dostrojonym modelem albo z dokładnymi instrukcjami stylu. Dla małej firmy to zwykle niepotrzebna złożoność.
Słabe strony każdej metody
- Długi kontekst: koszt każdego pytania rośnie z liczbą stron, a dane osobowe w plikach trafiają do dostawcy przy każdym pytaniu.
- RAG, który sami budujemy: wymaga utrzymania. Ktoś musi pilnować aktualności dokumentów i sprawdzać odpowiedzi, a źle podzielony dokument daje odpowiedzi wyrwane z kontekstu.
- RAG nie rozumie danych, których nie ma w tekście. Pytanie „ile sprzedaliśmy w marcu” wymaga połączenia z bazą danych, a nie wyszukiwania w dokumentach.
- Fine-tuning: drogi w przygotowaniu, trudny do aktualizacji, nie wskazuje źródeł i jest coraz słabiej wspierany przez dużych dostawców.
Nasze zdanie
W projektach dla małych i średnich firm zaczynamy od długiego kontekstu albo RAG, a fine-tuning rozważamy dopiero wtedy, gdy dobre instrukcje i przykłady przestają wystarczać. RAG budujemy wtedy, gdy dokumentów jest dużo, zmieniają się często albo odpowiedzi trafiają do klientów. Tak działa chatbot AI dla firm, który wdrażamy. Czy zbudować go od zera, czy wziąć gotowe narzędzie, opisujemy w tekście gotowy chatbot czy własny. Wdrożenia AI zaczynają się u nas od 2 290 zł netto.
Źródła
- Lewis i in., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020)
- OpenAI: optymalizacja modeli
- OpenAI: supervised fine-tuning i wygaszanie platformy
- OpenAI: optymalizacja dokładności LLM
- OpenAI: cennik API
- Anthropic: Contextual Retrieval (19.09.2024)
- Anthropic: dobre praktyki promptów, długi kontekst
- Anthropic: przegląd modeli Claude
- OpenAI: przegląd modeli
- Google: modele Gemini API
- Claude: RAG w projektach
- Google: dostrajanie modeli w Gemini API
- Google Cloud: wprowadzenie do dostrajania modeli
- AWS: Claude 3 Haiku w Amazon Bedrock, koniec wsparcia
Autor: Marcin Tyc, założyciel Tycode · opublikowano 24 października 2026 · aktualizacja 24 października 2026