Wspólny mianownik
Dwa niezależne od siebie materiały opublikowane 4 sierpnia opisują ten sam przesuwający się punkt ciężkości w pracy z agentami AI. Obaj autorzy wychodzą z założenia, że samo wytworzenie rozwiązania — kodu, treści, workflow — przestało być trudną częścią zadania. Trudne stało się rzetelne sprawdzenie, czy to, co model wyprodukował, faktycznie działa i faktycznie jest lepsze niż poprzednia wersja.
Ray Amjad nazywa to wprost kolejnym dużym kierunkiem programowania agentowego: nie generowanie kodu, tylko dobre środowiska weryfikacji end-to-end. Przywołuje pracę zespołu Qwen o „horyzoncie weryfikacji”, zgodnie z którą generowanie złożonych rozwiązań już nie stanowi problemu, a wiarygodna ocena ich poprawności — tak. Nate Herk dochodzi do zbieżnego wniosku od strony operacyjnej: weryfikacja pracy modelu przez samo AI jest u niego różnicą między dowożeniem 60–70% a 90–95%, a ewaluacje na złotym zbiorze danych to jedyny sposób, by odróżnić realną poprawę od przeczucia.
Drugi punkt styczny jest jeszcze bardziej konkretny: obaj mówią o uprawnieniach. U Nate’a Herka zasada brzmi, że uprawnienia muszą siedzieć w narzędziach, a nie w promptcie — ilustruje ją historią maila wysłanego do 150 tysięcy osób. U Raya Amjada ta sama obawa wraca jako argument za sandboxami chmurowymi: lokalne agenty potrafiły grzebać po dysku w poszukiwaniu kluczy API, więc weryfikacja przeniosła się na izolowane środowiska E2B. Dwa różne konteksty, jeden wniosek — ograniczenie ma być techniczne, nie językowe.
Jak to ujmują poszczególne kanały
Ray Amjad — This Is Where AI Coding Goes Next
Ray Amjad opisuje działający u siebie system: każdy PR uruchamia w chmurze agenty, które klikają po aplikacji jak użytkownik i automatycznie zakładają issue na GitHubie. Architektura pojedynczej ścieżki to osobny sandbox z własnym Postgresem i Redisem, agent zasiewający bazę, agent sterujący Playwrightem i agent-sędzia oceniający nagranie. Ekonomiczną podstawą jest obniżka ceny GPT-5.6 Luna o 80% — w benchmarku 106 zadań przeglądarkowych model na ustawieniu extra high uzyskał 78% przy koszcie ok. 14 centów za zadanie, czyli dwa punkty mniej niż Opus 5 przy koszcie siedemnastokrotnie niższym. Przywołuje też Uncle Boba Martina, który nie czyta już kodu pisanego przez swoje agenty, tylko otacza je bardzo ostrymi ograniczeniami. Pełne opracowanie.
Nate Herk | AI Automation — 5000 Hours of Building AI in Just 17 Minutes
Nate Herk podchodzi do tematu od strony wdrożeń u klientów i wewnątrz firm. Weryfikacja jest u niego jedną z dwunastu zasad, ale to ona odpowiada za skok jakości z 60–70% do 90–95% dowożonych zadań, a ewaluacje na złotym zbiorze danych pełnią rolę jedynego wiarygodnego miernika postępu. Uzupełnia to zarządzaniem modelem zamiast rozmawianiem z nim: plan, pytania kontrolne, adwokat diabła, jasna linia mety. Podkreśla przy tym, że przewagą nie jest sam model — wszyscy mają ten sam — tylko kontekst, wiedza dziedzinowa i negatywne promptowanie. Pełne opracowanie.
Rozbieżności i niepewności
- Skala jest zupełnie inna. Ray Amjad mówi o weryfikacji technicznej w cyklu wytwarzania oprogramowania (PR, Playwright, sandbox), Nate Herk — o weryfikacji rezultatów biznesowych w automatyzacjach. Zbieżna jest diagnoza, nie recepta.
- Kto ma weryfikować. U Amjada rolę sędziego pełni osobny agent oceniający nagranie sesji, u Herka weryfikacja przez AI współistnieje z ludzkim planem, pytaniami kontrolnymi i ewaluacją na przygotowanym wcześniej zbiorze.
- Liczby z materiału Amjada — 78% skuteczności, 14 centów za zadanie, koszt 17 razy niższy niż Opus 5 — pochodzą z jednego benchmarku 106 zadań przeglądarkowych i są referowane przez autora, nie zweryfikowane niezależnie.
- Wartości „90–95% zamiast 60–70%” u Herka to jego własna obserwacja z praktyki, bez podanej metodyki pomiaru. Traktuj to jako doświadczenie praktyka, nie wynik badania.
- Żaden z materiałów nie mówi, ile takie środowisko weryfikacji kosztuje w utrzymaniu ani jak zachowuje się przy fałszywych alarmach — agent-sędzia też może się mylić.
- Ograniczenie zasięgu jest u Amjada wprost przyznane: agent zweryfikuje tylko to, do czego ma dostęp. Kanały typu Slack, WhatsApp czy Instagram wymagają osobno przygotowanych uprawnień i kont.
Co z tego wynika dla Ciebie
- Zanim dołożysz kolejny krok generujący, sprawdź, czy masz czym ocenić jego wynik. Oba materiały zgodnie wskazują, że to tam leży dziś realny zysk.
- Zbuduj mały złoty zbiór danych — kilkanaście reprezentatywnych przypadków z oczekiwanym wynikiem. Bez niego każda zmiana promptu jest oceniana na wyczucie.
- Przenieś uprawnienia z promptu do narzędzi. Agent nie powinien mieć technicznej możliwości wysłania maila do 150 tysięcy osób, nawet jeśli w instrukcji napisano, że nie wolno.
- Jeśli uruchamiasz agenty lokalnie, załóż, że mają dostęp do wszystkiego, co masz na dysku — z kluczami API włącznie. Izolowane środowisko rozwiązuje przy okazji problem równoległości.
- Dodaj do procesu osobny krok oceny: model sprawdzający pracę innego modelu według jasnych kryteriów, a nie ten sam wątek pytany „czy dobrze zrobiłeś?”.
- Obserwuj ceny modeli przeglądarkowych. Argument Amjada jest w całości ekonomiczny — to spadek kosztu o 80% przesunął weryfikację na dużą skalę z ciekawostki do praktyki.
Źródła
- Ray Amjad — „This Is Where AI Coding Goes Next”: opracowanie · YouTube
- Nate Herk | AI Automation — „5000 Hours of Building AI in Just 17 Minutes”: opracowanie · YouTube