Trendy AI · Ekonomia AI
Niektórzy użytkownicy dostali odznaki. Inni wizytówki pokazujące zużycie tokenów. A jeszcze inni — rachunki za AI.
Moja wizytówka pokazała ponad 14 miliardów tokenów. Wynik wygląda efektownie, ale po chwili pojawia się ważniejsze pytanie:
Ile z tych tokenów rzeczywiście wytworzyło wartość?
Przez ostatnie miesiące korzystałem z czegoś, co roboczo nazywam „rajem podatkowym tokenów”. Przechodziłem pomiędzy platformami, abonamentami, wersjami beta i limitami udostępnianymi użytkownikom testującym nowe rozwiązania.
Trochę jak optymalizacja podatkowa, tylko zamiast egzotycznych wysp były dashboardy, subskrypcje i klucze API.
Takie podejście sprawdza się podczas eksperymentów. Nie może jednak być podstawą stabilnego procesu biznesowego. Organizacja nie powinna zakładać, że dostawca ponownie zwiększy limit, przedłuży promocję albo utrzyma cenę modelu.
Optymalizacja kosztów AI nie zaczyna się więc od cennika. Zaczyna się od architektury procesu.
Najtańszy model nie zawsze oznacza najtańszy rezultat
Najprostsza metoda optymalizacji polega na porównaniu ceny tokenów i wybraniu najtańszego modelu. Problem w tym, że model tańszy może częściej popełniać błędy, wymagać kolejnych prób albo generować wynik potrzebujący długiej korekty człowieka.
Z kolei model najmocniejszy może być całkowicie niepotrzebny do klasyfikacji dokumentu, ekstrakcji danych lub zmiany formatu odpowiedzi.
Najdroższy model używany do wszystkiego przypomina zatrudnienie profesora fizyki kwantowej do sortowania poczty. Zapewne wykona zadanie poprawnie. Tylko po co?
Właściwe pytanie nie brzmi: „Który model jest najtańszy?”, lecz:
Który proces doprowadzi do zaakceptowanego rezultatu przy najniższym całkowitym koszcie?
Do kosztu trzeba wliczyć tokeny, ponowienia, czas człowieka, opóźnienie, infrastrukturę, kontrolę jakości i ryzyko wykorzystania błędnej odpowiedzi.
Model powinien być dobierany do zadania
Dojrzały system nie korzysta z jednego modelu do wszystkiego. Najpierw klasyfikuje zadanie, a następnie wybiera rozwiązanie wystarczające do uzyskania oczekiwanej jakości.
Proste operacje mogą wykonywać mniejsze modele lokalne lub tańsze modele dostępne przez API. Zadania złożone mogą być eskalowane do modeli o większych możliwościach wnioskowania. Czasami najlepszym rozwiązaniem nie będzie AI, lecz reguła biznesowa, zapytanie do bazy albo zwykły algorytm.
To właśnie routing modeli: dobór narzędzia do zadania, zamiast dopasowywania każdego zadania do jednego ulubionego modelu.
Podatek od kontekstu
Znaczna część kosztu powstaje jeszcze przed wygenerowaniem odpowiedzi. Agent przy każdym kroku może ponownie otrzymywać instrukcję systemową, dokumentację, historię rozmowy, definicje narzędzi i fragmenty kodu.
Model wielokrotnie przetwarza informacje, które już wcześniej widział. Powstaje podatek od kontekstu.
Można go ograniczyć przez wyszukiwanie potrzebnych fragmentów danych, streszczanie historii, pamięć podręczną, deduplikację dokumentów oraz rozdzielenie wiedzy trwałej od danych potrzebnych tylko w bieżącym zadaniu.
Najtańszym kontekstem nadal pozostaje ten, którego nie trzeba przesyłać.
Local-first nie oznacza local-only
W Project Venom rozwijałem podejście local-first. System najpierw sprawdza, czy zadanie można efektywnie wykonać lokalnie, a dopiero później sięga po zewnętrzny model.
Lokalnie można realizować klasyfikację, embeddingi, wstępne streszczenia, filtrowanie informacji i przygotowanie kontekstu. Model zewnętrzny otrzymuje wtedy mniejszy, uporządkowany materiał i zajmuje się właściwym problemem.
Architektura hybrydowa nie usuwa kosztów. Sprzęt, energia i utrzymanie także kosztują. Pozwala jednak lepiej kontrolować wydatki, dane oraz zależność od jednego dostawcy.
Agent również potrzebuje budżetu
Największe straty pojawiają się często nie podczas jednej odpowiedzi, lecz w autonomicznej pętli pracy.
Agent wykonuje zadanie, wykrywa błąd, rozpoczyna poprawę, ponownie analizuje kontekst i oznajmia, że „już prawie kończy”. Proces może trwać aż do wyczerpania limitu.
Dlatego agent powinien posiadać:
- limit kroków i czasu pracy;
- limit tokenów i kosztu;
- warunek zakończenia procesu;
- kontrolę poprawności rezultatu;
- punkt eskalacji do człowieka.
Autonomia bez ograniczeń nie jest dojrzałością. Jest brakiem kontroli nad procesem.
Od zużycia tokenów do wartości
Liczba tokenów jest parametrem technicznym, ale słabym miernikiem efektywności. Lepsze wskaźniki to koszt zaakceptowanego wyniku, liczba ponowień, udział rezultatów odrzuconych, czas korekty oraz wartość biznesowa wykonanej pracy.
Moje 14 miliardów tokenów jest ciekawą wizytówką doświadczenia. Nie jest jeszcze miernikiem sukcesu.
Dojrzałość wykorzystania AI zaczyna się wtedy, gdy przestajemy pytać, ile tokenów możemy zużyć, a zaczynamy projektować proces, który wykorzystuje tylko tyle zasobów, ile rzeczywiście potrzebuje.
Bo najtańszym tokenem nie jest token kupiony z rabatem.
Najtańszy jest token, którego nie trzeba było wygenerować.
Więcej informacji na ten temat w aspekcie technicznym znajdziesz pod linkiem w dev.to
I Delayed Multi-Model Orchestration. Then the Economics Changed.
Powiązane publikacje
Trendy AI
Analizy zmian technologicznych, ekonomicznych i społecznych związanych ze sztuczną inteligencją.
Implementacja Asystenta AI
Jak osadzić modele, dane, narzędzia, kontrolę jakości i koszty w rzeczywistym procesie.
Szybki przegląd AI 2025/2026
Przegląd rozwoju modeli, regulacji, edukacji, rynku pracy i społecznych skutków AI.
Maciej Pieniak — analityk biznesowo-systemowy, autor publikacji dotyczących sztucznej inteligencji, transformacji cyfrowej, architektury rozwiązań oraz automatyzacji procesów.