O czym jest ten film
- Theo dostał od Google wczesny dostęp do Gemini 4 Carbon i testował model na własnych projektach, głównie w swoim narzędziu T3 Code.
- Model zapowiedziano dwa tygodnie wcześniej jako najlepszy na świecie (60 pkt na Artificial Analysis kontra 59 dla Opusa 55), ale tuż po premierze wyprzedził go nowy Fable.
- W autorskich testach analizy kodu odsetek fałszywych twierdzeń spadł z 36% (Argan) do 18% — dokładnie o połowę, zgodnie z zapewnieniami DeepMind.
- Carbon jest konsekwentnie najwolniejszym modelem w stawce: średnio 22–27 minut na zadanie wobec 3–25 minut dla Opusa.
- Cena „wprowadzeniowa” (2/10 USD za milion tokenów) podwoi się 1 grudnia do 4/20 USD — poziomu Opusa.
- Cache w API Gemini działa automatycznie i zawodzi: 20–34% szans na pudło przekłada się na nawet 50% wyższe koszty zadania.
- Do przeglądu kodu i analizy architektury model się nie nadaje — zmyśla nazwy kolumn, numery linii i nieistniejące fakty o projekcie.
- Niedoceniona mocna strona to cyberbezpieczeństwo: prowadzi w benchmarkach programu Fairwind, dziewięciokrotnie rzadziej oszukuje na testach, 0% skuteczności ataków prompt injection.
- Przy realnym zgłoszeniu luk w T3 Code Carbon zaproponował najlepsze rozwiązanie z testowanych modeli — Mythos przewymiarował je fatalnie, a modele OpenAI i xAI odmawiały lub schodziły do słabszych wersji.
- Werdykt: do kodowania nadal nie ma lepszego niż Opus; Carbon przydaje się niemal wyłącznie w pracy security, ale to duży skok jakości względem Argana.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Halucynacje spadły dokładnie o połowę — ale z bardzo wysokiego pułapu
Na czym polega: W testach analizy kodu odsetek fałszywych twierdzeń spadł z 36% (Argan) do 18% (Carbon), co pokrywa się z deklaracją DeepMind o dwukrotnym spadku. Konkurencja mieści się w przedziale 0–4%.
Jak stosować: Jeśli już używacie Gemini do analizy kodu, Carbon to realny postęp — ale każdą tezę modelu traktujcie jako hipotezę do samodzielnej weryfikacji, nie jako fakt.
Na co uważać: Oficjalne benchmarki halucynacji nie mierzą tego typu błędów; własny test na własnym kodzie powie więcej niż ranking producenta.
2.Tokeny na sekundę to nie szybkość — mierz czas całego zadania
Na czym polega: Carbon generuje tokeny szybko, ale przez fatalny czas reakcji i nadmiarowe kroki potrzebuje średnio 22–27 minut na zadanie (Opus: od 3 minut). Zmiana poziomu rozumowania nic tu nie poprawia.
Jak stosować: Przy wyborze modelu do realnej pracy porównujcie średni czas wykonania pełnych zadań, a nie tempo strumieniowania.
Na co uważać: „Szybki model” w materiałach marketingowych zwykle znaczy tylko tyle, że szybko wypisuje znaki.
3.Cena „wprodukceniowa” to wabik — licz koszt zadania po podwyżce
Na czym polega: 2/10 USD za milion tokenów to stawka tylko do 1 grudnia; potem 4/20 USD — tyle co Opus, za model mniej przyjemny w użyciu. Google skróciło okno promocji z 2–3 miesięcy do niecałego miesiąca.
Jak stosować: Przed wdrożeniem policzcie koszt typowego zadania przy cenie docelowej i porównajcie z alternatywami — przez niższe zużycie tokenów Opus często wyjdzie taniej mimo podobnej cennika.
Na co uważać: Nie zakotwiczcie pipeline’ów w modelu, którego cena ma się podwoić za kilka tygodni.
4.Automatyczny cache potrafi dobić 50% do rachunku
Na czym polega: Gemini API sam decyduje, co trafia do cache’a, i robi to słabo: 20% pudli w oknie 5 sekund, 34% w 30 sekund. W najgorszym scenariuszu liczba zapytań rośnie o połowę.
Jak stosować: Zmierzcie w swoich pipeline’ach realną skuteczność cache’a i traktujcie ją jako osobny składnik kosztu zadania. U Anthropic (i od niedawna OpenAI) zapisem do cache’a sterujecie wprost.
Na co uważać: Cennik odczytu z cache’a zakłada stuprocentową skuteczność — u Gemini to założenie się nie sprawdza.
5.Przegląd kodu i analiza architektury: kategorycznie nie na tym modelu
Na czym polega: Model zmyśla nazwy kolumn w bazach danych, numery linii, których nie przeczytał, oraz nieistniejące elementy architektury.
Jak stosować: Przydzielcie Carbonowi zadania, w których błąd widać od razu (generowanie, prototypowanie, reagowanie na incydenty), a weryfikację faktów zostawcie innym modelom.
Na co uważać: Fałszywe twierdzenia Carbona brzmią pewnie i konkretnie — łatwo je przeoczyć przy przeglądzie pull requestów.
6.Nisza, w której błyszczy: zgłoszenia bezpieczeństwa i incident response
Na czym polega: Przy realnym raporcie luk w T3 Code Carbon poprawnie opisał problem i zaproponował proste, celne rozwiązanie, podczas gdy modele uważane za „bezpieczniejsze” odmawiały pomocy albo schodziły do słabszych wersji.
Jak stosować: Jeśli Opus lub inne modele blokują pracę nad raportem bezpieczeństwa, spróbujcie Carbona w wariancie High — dokładnie ten scenariusz u Theo zadziałał najlepiej ze wszystkich.
Na co uważać: Dostęp przez program wewnętrzny (Fairwind) może łagodzić filtry — na zwykłym koncie doświadczenia mogą wyglądać gorzej.
7.Oceniaj propozycje napraw po koszcie użytkowym, nie tylko po „bezpieczeństwie”
Na czym polega: Mythos zaproponował kryptograficzną przebudowę flow z sześciocyfrowymi kodami przenoszonymi fizycznie między maszynami — skutecznie, ale kompletnie zabija wartość funkcji. Carbon zaproponował proste rozdzielenie przepływów, które domknęło lukę i przy okazji dwie kolejne.
Jak stosować: Przy ocenie pomysłu od modelu zawsze pytajcie o koszt użytkowy rozwiązania i żądajcie wariantów prostszych.
Na co uważać: Rozwiązanie przewymiarowane formalnie zamyka lukę, ale wprowadza nowe ryzyko: nikt nie będzie chciał go używać.
8.Duże bazy kodu to pięta achillesowa Gemini
Na czym polega: Nawet projekty sklecone na szybko z Opusem bywają za duże, żeby Carbon je poprawnie ogarnął. Paradoks: Google ma jedną z największych baz kodu na świecie — i jako jedyny producent ma ten problem.
Jak stosować: W dużych monorepo trzymajcie się modeli, które je trawią (u Theo bezkonkurencyjny jest Opus); Gemini sprawdzajcie w mniejszych, zamkniętych zadaniach.
Na co uważać: Skala projektu bywa ważniejszym kryterium wyboru niż pozycja w benchmarkach.
9.Subskrypcja Google daje mniej realnej pracy niż Anthropic za te same pieniądze
Na czym polega: Historycznie plan za 200 USD u Google objętych jest mniejszymi dopłatami niż odpowiednik u Anthropic, a z Carbonem limity kończą się szybciej.
Jak stosować: Przy wyborze planu liczcie nie limity tokenów, lecz liczbę realnych zadań dziennie, które dokończycie.
Na co uważać: Wczesny dostęp nie zlicza się do limitów — cudze testy zużycia mogą dawać zawyżone wyniki.
10.Rada modeli: tania kontrola jakości pracy agenta
Na czym polega: Theo kieruje gotową pracę agenta do przeglądu przez inne modele. Zmiany bezpieczeństwa od Carbona dostały 9/10 od Opusa 55, 9/10 od Muse, 7,5 od 61 Soul i 7 od Terary.
Jak stosować: Wbudujcie w pipeline rundę „recenzji” pracy agenta przez 2–3 inne modele, zanim człowiek spojrzy na kod — tanio wyłapuje głupie błędy.
Na co uważać: Recenzenci też halucynują i bywają zbyt łaskawi; traktujcie oceny jako sygnał, nie wyrok.
Redakcyjne tłumaczenie
Nadszedł wreszcie ten dzień
Mimo moich narzekań Google wciąż traktuje mnie z pobłażaniem i dało mi wczesny dostęp do Gemini 4 Carbon. Korzystałem z tego modelu bardzo intensywnie i powiem szczerze — obiecuję, że za chwilę wszystko zaskoczy — nie byłem zachwycony. Plan na ten film zakładał, że nie będę dla niego miły, bo Argan był słaby, a poprawa okazała się mniejsza, niż liczyłem. Zwłaszcza że przy zapowiedzi dwa tygodnie temu Carbon był oficjalnie najlepszym modelem świata: 60 punktów na Artificial Analysis kontra 59 dla Opusa 55. Problem w tym, że właśnie wypadł Fable — i to jest skok o klasę wyżej nawet ponad podkręcane pod benchmarki wyniki Carbona.
(Informacja dodatkowa: Artificial Analysis to niezależny serwis porównujący modele AI; Argan to poprzedni flagowiec Google z linii Gemini 4.)
Na wykresie wygląda to pięknie — na przykład w Slopolytics. Tyle że te liczby są tak dobre tylko dlatego, że wyłączyłem z niego pozostałe modele. Tak przynajmniej myślałem, dopóki nie zacząłem drążyć głębiej. Wtedy znalazłem rzeczy, o których nikt mi nie powiedział — i które szczerze mnie zaskoczyły. Nie wierzę, że to mówię: dziś w nocy zamierzam mergować zmiany zrobione właśnie tym modelem. Tak, naprawdę. Sam też jestem w szoku. Mam sporo do wyjaśnienia, bo ta premiera jest kompletnie inna, niż oczekiwałem. Obiecuję, że finał Wam się spodoba. To, delikatnie mówiąc, chaotyczna przeprawa.
Sekcja sponsora: WorkOS
Zanim ruszymy w trasę, gra: co łączy te firmy? OpenAI, Anthropic, FAL, Parallel, Cursor, Clay, Whisperflow, Firework, Base10, Replit, Gamma, Scribe, Laravel, Perplexity, Hex, Factory, Turbopuffer, PlanetScale, Granola, Bolt, PostHog, Exa, Warp, Luma… Ledwo łapię oddech, bo WorkOS po prostu wygrał tę branżę. I nie bez powodu. Autoryzacja wydaje się prosta — dopóki jej nie zepsujecie, a wtedy kosztuje fortunę. Gdy przychodzi do was Microsoft z pytaniem „chcemy waszego produktu, obsłużycie nasze dziwactwa SSO?”, lepiej będziecie gotowi. I nie liczcie na agenta — powodzenia w ustawianiu SAML-a, Okty i reszty przez LLM-a. Skoro dzięki AI spięcie z każdym dostawcą logowania jest dziś banalne, wybierzcie takiego, który rozwiązuje problemy istotne dla waszego biznesu. Firmę gotową na współpracę z każdym klientem enterprise zbudujecie na swive.link/workos.
Co obiecuje Google
Zacznijmy od słów samego Google: „Carbon jest już dostępny”. Przypominam — zapowiedź padła dwa tygodnie temu; przepraszam, że wtedy milczałem, ale czekałem na zgodę. Model używałem od dłuższego czasu i początkowo byłem, powiedzmy, nieusatysfakcjonowany. Google otwiera zapowiedź stwierdzeniem, że Carbon trafia do deweloperów, przedsiębiorstw, naukowców i zwykłych użytkowników. „To nasz najmocniejszy model, z wydajnością frontier”. Frontier — śmiałe słowo, zwłaszcza że zdanie kontynuowane jest o cyberbezpieczeństwie i długich, agentowych zadaniach: złożona praca z wiedzą, inżynieria oprogramowania, rozumowanie naukowe. Intrygujące zdanie. Konsekwencje zrozumiałem dopiero na godzinę przed nagraniem.
Google przypomina też, że dwa tygodnie temu model najpierw trafił do specjalistów ds. cyberbezpieczeństwa w ramach programu Fairwind, a wczesny dostęp otwarto wkrótce potem — tak go dostałem. Przyznaję: zbyt długo ignorowałem wątek bezpieczeństwa. A to właśnie on okazał się najciekawszy.
Rekord na Cursor Bench — i wątpliwość co do benchmarków
Carbon uzyskał najlepszy wynik w historii Cursor Bench 4, co jest… dzikie. I szczerze mówiąc każe mi wątpić w ten benchmark, bo w moich testach model nie był nigdzie blisko tego poziomu. Moje ostatnie benchmarki kodowe mierzą co innego: analizę kodu — rozumienie obcej bazy albo przegląd pull requestów i wyszukiwanie problemów. I tu model mnie nie zaskoczył.
W przeglądzie architektury mojej bazy w Ruście Carbon wypadł lepiej niż Argan. Argan zgłosił 36 twierdzeń, z czego 24 były fałszywe. Carbon — 79 twierdzeń, czyli powiedział znacznie więcej, miał o wiele więcej opinii i szybciej dochodził do sedna, ale wciąż 23 twierdzenia były zmyślone. To dużo, bo pozostałe modele mieszczą się w przedziale zero–jedna fałszywa uwaga, a kilka trafia w przedział trzy–cztery, jeśli są przesadnie „na luzie”. To zresztą tylko jedna z serii pomiarów. W analizie T3 Code Argan zrobił 47 błędów na 92 twierdzenia — ponad połowa było zmyślona. Carbon: 23 na 86. Na wszystkich moich testach odsetek fałszywych twierdzeń spadł z 36% dla Argana do 18% dla Carbona.
I teraz coś fascynującego: ludzie z DeepMind mówili mi, że doskonale znali halucynacje, które u nich obserwuję, i że ich dane pokazują około dwukrotny spadek między Arganem a Carbonem. Proszę bardzo: dokładnie 50%. Trochę mnie to boli, bo oficjalne benchmarki halucynacji w ogóle nie mierzą tego trybu awarii, który ja tu widzę — a widzę go jak na dłoni. Tak, spadło o połowę. Ale to wciąż wynik dużo gorszy niż wszystko inne — sorki, wciąż gorszy nawet od linii Muse: pełnowymiarowy Wonder trzyma 14,5% fałszywych twierdzeń wobec 18–36% dla Gemini. Pełna wersja Wondera, bo odmiana okrojona — jak wielokrotnie powtarzałem — jest do wyrzucenia, więc oceniajcie sami.
Wolniejszy niż wszystko
Ten model jest irytująco wolny. Poziomy „reasoning effort” nic tu nie zmieniają — czas reakcji jest fatalny na każdym. Na niskim poziomie średni czas zadania w Artificial Analysis to 22 minuty, na wysokim — 27. Dla porównania Opus: 3 minuty i 1 sekunda na niskim, maksymalnie 25 minut. Po przełączeniu wykresu ze skali logarytmicznej na liniową widać gołym okiem, jak bardzo odstaje od stawki: to konsekwentnie najwolniejszy model z całej paczki. Wolniejszy od Maxa dosłownie na wszystkim — a to, że przegrywa choćby z Fable 52, w ogóle nie trzyma się kupy.
Ludzie powtarzają: „przecież to szybki model”. Przestańcie. Kto sądzi, że tokeny na sekundę to synonim szybkości, ten nie wie, o czym mówi. Popatrzcie na liczby: ten model jest wolny i przez to fatalny w użyciu.
Dobra — mówiłem, że model ma dobre strony, ale najpierw muszę się jeszcze trochę wyżyć.
Cena: liczba z etykiety
Google wreszcie dorzuciło odpowiednik workflowów w postaci swarmów. Trochę żenujące sprzedawać to jako „nową funkcję” i rozsyłać do partnerów prasowych, takich jak The Verge. I tu zaczyna się robić „geminiowo”.
Cena: 2 dolary za milion tokenów wejściowych, 10 za wyjściowe. Ale to cena „wprowadzeniowa”. A co to takiego? Google’owy wynalazek. Do 1 grudnia płacicie 2/10 plus 10 centów za odczyt kontekstu z cache’a — po 1 grudnia 4/20 i 20 centów. Cena się podwaja. Zwykle inteligencja modeli tanieje z czasem; Google jako jedyne innowuje w złym kierunku. Moja teoria: chcą przywiązać ludzi do nowego modelu, a potem ściągnąć pełną stawkę. Kiedyś zakładałem, że te rabaty mają odciągać użytkowników od starszych wersji, żeby łatwiej zarządzać infrastrukturą — ale wtedy okna promocyjne trwały dwa, trzy miesiące i dłużej. Teraz mamy mniej niż miesiąc. No cóż.
Nie sądzę, żeby ten model był wart którąkolwiek z tych cen — a 4/20 to stawka Opusa za model znacznie mniej przyjemny w użyciu, do tego z wyraźnie gorszymi dopłatami w subskrypcji.
Cache, który działa, kiedy ma ochotę
Ostatnia rzecz o kosztach, bo zrobiłem na ten temat eksperymenty. API Gemini nie pozwala jawnie zarządzać cache’em. OpenAI kiedyś też nie, ale dziś trzeba powiedzieć API „zapisz to do cache’a”. Claude ma to od zawsze — z wyborem, jak długo dane mają być trzymane. Gemini cache’uje, kiedy uzna, i robi to byle jak. W oknie 5-sekundowym szansa na pudło wynosiła 20%, w 30-sekundowym — 34%, w 120-sekundowym jeszcze więcej. Skutkuje to nawet 50-procentowym wzrostem liczby zapytań przy dłuższych zadaniach. I dlatego, jak powtarzam od dawna: nie liczy się cena tokena, tylko koszt całego zadania — zwłaszcza że różne modele zużywają ich różne ilości. Skuteczność cache’a to osobny, ważny składnik rachunku. Zwykle w ogóle o nim nie rozmawiamy, bo trafalność jest praktycznie stuprocentowa: co zapiszecie do cache’a, to stamtąd odczytacie. W Gemini wszystko jest wyjątkowe.
Więc nie wierzcie liczbie z etykiety: za kilka tygodni się podwoi, cache nie działa tak, jak powinien, a tokeny palą się szybciej niż w czymkolwiek, co widziałem. Jeśli wybieracie ten model, bo jest „szybki i tani” — mylicie się, i to podwójnie.
Skoro tak, to dlaczego, u licha, mi się podoba? Do tego zaraz wrócimy, ale najpierw praca na dokumentach — całkowite przeciwieństwo fish slopa (obiecuję, że do ryb wrócimy, spokojnie) oraz kilka naprawdę fajnych rzeczy.
(Informacja dodatkowa: „fish slop” to powracający test Theo — model ma wygenerować w 3D scenę z rybą; służy do porównywania jakości generacji między modelami.)
Praca na dokumentach i nowy benchmark
Google chwali się precyzyjną pracą z wiedzą, generowaniem artefaktów i analizą danych. Twierdzi, że istniejące testy nie oddają, jak modele rozumieją gęste dokumenty pełne wykresów, obrazów, schematów i tabel, więc razem z Artificial Analysis zbudowało nowy benchmark: Multimodal Knowledge Agent. Zabawne — pomogli zrobić benchmark i na tym benchmarku są dopiero drudzy.
UI i front-endy: jeden szablon w wielu kolorach
Przechodzimy do tego, po co tu jesteście: agentowe kodowanie, pełny stack, 3D i projektowanie interfejsów. Od razu mówię — UI mnie nie zachwycił. Właśnie sprawdziłem. Nasz chłopak D zaktualizował Witchai, więc mogę szybko przejrzeć fronty. Oto co model zrobił z umiejętnością projektową od Anthropica, którą obsługuje całkiem nieźle — choć layoutów, szczerze mówiąc, nie kocham. Wyłączmy to i zobaczmy, co robi domyślnie. O — jego natywny design jest mniej zły niż wersja z skillem. Ale wciąż kocha jeden szablon: pigułkowata sekcja, dwie wyśrodkowane linie tekstu, logo, przycisk „begin”, cztery irrelewantne linki pośrodku i ucięty zrzut aplikacji. To wszystko ten sam layout w różnych kolorach. Różnią się może dwa. Robi się bardzo szablonowo — oceniajcie sami.
Google twierdzi, że model jest znakomity w zadaniach wymagających współpracy wielu agentów: migracjach wielu pakietów, śledztwach po pierwotną przyczynę między systemami, złożonych przeprojektowaniach architektury. Ma być dobry w web developmentie i 3D. Podają cytaty od przyjaciół z Open Code — których, jak bardzo ich lubię, zachwyt modelami Gemini przyjmuję z dużą rezerwą. Oni bardzo lubili też Argana, który do realnej pracy z kodem się nie nadawał. Każdą rzecz, którą z niego zmergowałem, musiałem wycofać — a zmergowałem niewiele. To mówi samo za siebie.
Cytat: „Nie mogliśmy doprowadzić aplikacji do spójności z istniejącym frameworkiem UI. Przekazaliśmy Carbonowi listę wymagań przed końcem dnia. Przez noc Carbon zbudował od zera nową bibliotekę UI w Ruście i przepisał aplikację desktopową Open Code z działającymi demo. To sprytny model i nasz preferowany model do planowania najtrudniejszych zadań”. To wybór — bo gdy dacie temu modelowi długie konteksty, halucynuje więcej. Nie uważam tego za uczciwe zestawienie i jestem bardzo ciekaw, jak dokładnie do tego podszli. Inni chwalą trudne zadania 3D, jak symulacja tkanin; „traktuje kontrakty oprogramowania z szacunkiem”. No tak. No właśnie. Rozumiecie. Ludzie wydają się nim zachwyceni. Pokazują dema: podwodną Atlantydę w three.js, salę koncertową. Wygląda poprawnie, ale wszystko to wygląda mi na poziom sprzed ponad pół roku. O — przemycili pelikana na rowerze. Oczywiście. Pozdro, Simon.
(Informacja dodatkowa: „pelikan na rowerze” to klasyczny obraz-test dla modeli generujących; Simon to najpewniej Simon Willison, znany popularyzator tematu LLM.)
Pierwsze podejście do fish slopa
Dochodzimy do sekcji, którą trochę przespałem — „frontierowe możliwości w cyberbezpieczeństwie”. Wrócimy do niej zaraz po fish slopie. Oto pierwsza wersja, którą zrobił: nie najbardziej imponująca z tego, co widziałem. Robi rzeczy inaczej — ma swój własny smak, co jest fajne samo w sobie, ale na tle tego, co właśnie pokazał Fable, to żenada. Chciałem dać mu jednak lepszą szansę, bo modele Google podobno są dobre w 3D, więc kazałem mu to „zrobić pięknie”. Zrobił. Coś. Może to wina Firefoksa? Nie. To zabawne. Woda wygląda dobrze, ale wszystko inne się posypało.
Kazałem T3 Code znaleźć wątek, który założyłem dni temu, podbić go i zlecić tę samą robotę Gemini 4 Carbon w wariancie High — żeby zobaczyć, co potrafi sam, bez łatania jego błędów przez inne modele. Chcę poznać jego rzeczywiste możliwości.
Limity w subskrypcji i wkurzające Antigravity
Chciałem dać Wam dane o tym, ile realnego zużycia daje subskrypcja Gemini — mam plan za 200 dolarów. Ale najpierw muszę się wyładować na zespole Antigravity, bo ile razy można prosić: nie rozwieszajcie mojego adresu e-mail po całym interfejsie. Niezależnie od ustawień wyświetlają go wszędzie. Dzięki edytorowi za zamazanie go w materiale; „dziękuję” Antigravity, że robicie to dalej. To jeden z wielu powodów, dla których nigdy nie otwieram Antigravity przy nagrywaniu, chyba że nagrywam offline. Moje limity widnieją jako „100%”, bo korzystam z Carbona w wczesnym dostępie, co chyba nie wlicza się do zużycia — przez co bardzo trudno mi podać realne liczby. Wrócę z nimi, kiedy będę mógł. Tyle że historycznie dopłaty w planach Gemini za 200 dolarów nie są szczególnie hojne, zwłaszcza na tle tego, co za te same pieniądze daje Anthropic.
Cyberbezpieczeństwo na poważnie
Wracamy do „frontierowych możliwości w cyberbezpieczeństwie”. Zabawne przykłady pokażę później; na razie weźmy Google za dobrą monetę: „Gemini 4 Carbon for Cyber to nasze najmocniejsze dotąd możliwości w cyberbezpieczeństwie — daje zespołom security kompletny obraz potrzebny do ochrony krytycznego oprogramowania”. W ocenie programu Fairwind Carbon prowadzi w kluczowych benchmarkach, takich jak SEC Bench Pro czy Exploit Gym. Wcześni testerzy wewnątrz Google widzą mocne wyniki w praktyce: Projekt Fortify przejrzał projekty open source i znalazł całą serię problemów — 25% względnej poprawy nad Arganem. Podobno wykryto dwa błędy w popularnych projektach open source o wadze zbliżonej do PHP-to-shell, co jest przerażające.
Model jest też lepszy w rozumowaniu naukowym i matematycznym — na przykład w projektowaniu testów enzymatycznych; na te tematy idźcie do innego kanału, bo ja się nie znam. Jest lepiej wyrównany: rzadziej wywołuje poważne alerty w treningu ze wzmocnieniem i rzadziej oszukuje na testach — Argan kombinował nawet w 4% przypadków, tu mamy dziewięciokrotny spadek. Na benchmarkach odporności na prompt injection: 0% skuteczności ataków. Bardzo dobrze.
Więc można go używać. Ale czy powinno się?
Przypadek użycia numer zero: przegląd kodu
Do code review i analizy bazy — zdecydowanie nie. Widziałem, jak ten model mnóstwo zmyśla. Wymyśla nazwy kolumn w bazie danych. Wymyśla numery linii, których nie przeczytał albo nie zrozumiał. Wymyśla cechy architektury, których nie ma. Trudno mu ufać. Naprawdę trudno. I właśnie dlatego jego mocne strony irytują jeszcze bardziej.
Jak Gemini żyje w T3 Code: wiązania ACP
(Informacja dodatkowa: T3 Code to open-source’owe narzędzie Theo do pracy z agentami kodującymi.)
Z Gemini korzystam niemal wyłącznie przez T3 Code. Wokół używania subskrypcji Gemini w innych narzędziach narasta sceptycyzm — i powiem wprost: nie róbcie tego bez zgody Google. Na szczęście zespół DeepMind współpracuje z nami bardzo blisko. Pomagamy im przy wiązaniach ACP — to sposób na sterowanie Antigravity z poziomu innych narzędzi. Google nie chce, żebyście wynosili subskrypcję i inference gdzie indziej: nie zabierzecie tego do Pythona ani innego harnessu. Ale jeśli przez wiązania ACP innemu narzędziu — takiemu jak T3 Code — pozwolono sterować Antigravity, to jest dozwolone.
(Informacja dodatkowa: ACP to Agent Client Protocol — otwarty protokół łączący narzędzia programistyczne z agentami.)
Kiedyś wiązania były osobnym binarnym plikiem do pobrania, który oferowaliśmy w T3 Code jako opcję; zespół Google ląduje zmiany, które przenoszą je wprost do CLI Antigravity. Rozmawialiśmy o tym sporo. Uwierzcie lub nie, tylko dwa laboratoria wprost wylądowały zmiany w T3 Code: SpaceX — które zbudowało pierwszą implementację buildów od Groka i z którymi od tamtej pory dużo współpracujemy — oraz zespół DeepMind, ciężko pracujący nad wiązaniami ACP w T3 Code, żeby praca z Gemini była u nas jednym z najlepszych dostępnych doświadczeń. Część halucynacji brała się z problemów starego setupu ACP, co było wkurzające: wiązania nie wysyłały do modelu właściwych danych, przez co nie dostawał na przykład numerów linii, jakie miałby w oficjalnym CLI Antigravity. Dużo nazw, wiem. Szkoda, że to nie jest open source jak Gemini CLI — który, uwaga, to zupełnie inna rzecz.
Niezależnie od wszystkiego nie chcę na nich za bardzo narzekać, bo ci ludzie są niesamowici. Ilekroć mam jakiś dziwny problem z Gemini, liczba konkretnych, ciężko pracujących ludzi z DeepMind, którzy się odzywają i robią wszystko, żeby to naprawić, jest nie do wiary. Gdybym miał porównać laboratoria pod kątem szans, że uczciwie wezmą się za coś, na co narzekam — DeepMind stawiałbym na pierwszym miejscu. A to dużo mówi, bo OpenAI jest bardzo otwarte na mój feedback, a skoro Cursor jest częścią SpaceX AI, mam układy i tam. Ale DeepMind po prostu to robi. Narzekałem na niejasną politykę używania konta w innych miejscach — doprecyzowali ją następnego dnia. Narzekałem na absurdalne halucynacje w T3 Code — przeprowadzili audyt ACP, znaleźli poprawki i nam je naprawili. Poszli nawet o krok dalej i dodali specjalny identyfikator T3 Code, żebyśmy dostawali to samo traktowanie, które mieli niektórzy dostawcy, jak Zed. To naprawdę dobre rzeczy — chwała im za to. Ludzie z DeepMind należą do najlepszych i szczerze lubię z nimi pracować. Dlatego było mi przykro, że ten film miał być krytyką, bo używanie modelu po prostu ssie. Będę szczery: używanie tego modelu wciąż jest daleko od poziomu, który uzasadniałby sięgnięcie po niego zamiast po Opusa. Cena nie jest dobra — w większości przypadków wychodzi drożej. Jest znacznie wolniejszy. Wiązania są słabe. Zachowanie jest słabe. Potrafi napisać przyzwoity kod w niektórych miejscach i niektórymi sposobami — jeśli macie cierpliwość, żeby pilnować go za rączkę.
Aż tu nagle: wiadomość od niezależnego badacza
I wtedy stało się coś dzisiaj. Dostaliśmy maila od niezależnego developera, który przez program bezpieczeństwa Anthropic uzyskał dostęp do Mythosa i użył go do audytu T3 Code. Znalazł dwie luki — obie niszowe. Pierwsą praktycznie niemożliwą do wyzwolenia w realnym świecie bez bardzo specyficznych, celowych ataków. Drugą — bardziej prawdopodobną, jeśli agent da się nabrać. Postanowiliśmy załatwić temat jak porządni maintainerzy. Zanim ten film ukaże się na platformie, poprawki są już wydane, a ryzyko wykorzystania było i tak stosunkowo niskie. Tak czy inaczej — zaktualizujcie. Wiem, jestem złym przykładem, ale mam swoje powody. Ten raport był rzetelny i wychwycił realne rzeczy, które chcieliśmy naprawić.
(Informacja dodatkowa: Mythos to model Anthropic przeznaczony do prac bezpieczeństwa, udostępniany przez ich program obronny.)
Julius od razu odpala Fable 52, wręcza mu raport i pyta: „Co o tym myślisz? Jak ważne jest to do naprawienia?”. Tuisha trafia na Opusa 4.8 — i nic z tego nie wychodzi, bo to Opus 4.8, który nie był dobry nawet wtedy, gdy wychodził. Byłem zirytowany. Na szczęście sam złożyłem wniosek o dostęp „defensywny” do Mythosa do obrony naszej bazy kodu — i na szczęście go dostałem. Ten wątek zajął się obiema lukami i opisał problem, trochę bardziej rozwlekle, niż bym chciał. Poprosiłem o propozycję zmian. A zmiana, którą chciał wprowadzić, to fundamentalna przebudowa mechaniki łączenia maszyn.
Dla nieznających tematu: jedną z wczesnych funkcji T3 Code w Labs jest możliwość, w której jedna maszyna prosi o dostęp do drugiej w waszej flocie. Jeśli pracuję na Linuksie i chcę przetestować zmiany albo wysłać innego agenta na Maca mini albo na Windowsa, maszyna może wysłać prośbę, a w aplikacji wyskakuje okienko: „Ten wątek na tym komputerze chce dostępu do tego środowiska. Pozwolić?” — klikamy akcept i wybieramy poziom uprawnień. Jeśli ktoś nie korzysta z naszej warstwy połączeń, tylko stawia własną — co można, to projekt open source — w teorii możliwe jest złośliwe podpięcie was pod zły link.
Jakie rozwiązanie zaproponował Mythos? Żeby trzeba było podejść do drugiej maszyny, otworzyć aplikację albo odpalić komendę, zdobyć sześciocyfrowy kod i wrócić z nim do pierwszej maszyny, żeby zatwierdzić połączenie. Nie wiem, ile wiecie o mnie i moich maszynach, ale nie zaglądałem do żadnej z nich od miesięcy. Nie zrobię tego. To bierze całą wartość tej funkcji i psuje ją. W takim razie wolę po prostu przekopiować prompt. Fatalnie. Próbowałem innych modeli: u OpenAI trafiałem na wersje głupsze albo dostawałem odmowę — przez sam charakter raportu bezpieczeństwa. U SpaceX AI nie było właściwie czym próbować. Krążyłem z Mythosem tak długo, aż zgodził się, że zaufane linki z T3 Code w T3 Connect możemy traktować inaczej, gdy połączenie idzie przez naszą warstwę — bo przez naszą warstwę nie ma mowy o podstawieniu fałszywego URL-a. W końcu go przekonałem i zmiany wylądowały i zostały zmergowane.
Występ Carbona: rozwiązanie, którego się nie spodziewałem
Zanim to się skończyło, siedziałem gotowy do nagrania i pomyślałem: a czemu nie? Yolo. Zobaczmy, co zrobi Carbon. Byłem ciekaw.
Opisał problem poprawnie. Wstawia wszędzie te swoje nowe łamania linii, których nienawidzę — formatowanie robi się odrobinę gorsze, trudno. Problem opisuje bardzo dobrze; trochę zbyt rozwlekle, ale wszystko rozumiałem, a że znałem problem od podszewki, nic nie śmierdziało zanadto. Zapytałem, co powinniśmy zrobić. I tu jest powód, dla którego ten film jest zupełnie inny, niż go planowałem.
Gemini 4 Carbon w wariancie High powiedział: „Najlepsza poprawka to sztywne rozdzielenie przepływów od znanych maszyn od przepływów na surowych URL-ach, w parze z ograniczeniem retencji URL-i w sekcji peer link. Nie potrzebujesz ciężkiej przebudowy kryptografii, żeby czysto domknąć tę lukę. A porządnie zrobione rozdzielenie naprawia zresztą dwa dodatkowe problemy, których raport nawet nie wskazał”.
Zaproponował dokładnie to, co chciałem. Nie spodziewałem się tego — wszystkie inne modele, których próbowałem, albo odmawiały pomocy, albo były Mythosem, którego właśnie widzieliście. Że to akurat z tym modelem miałem najlepsze doświadczenie w załatwianiu takich raportów — to obłęd. Szczerze, nie mnie się to spodziewałem. Byłem już prawie skończony z wersją od Mythosa. I tak, wiem: na papierze model jest szybki, bo robi dużo tokenów. Wszystko inne robi źle. Zużywa za dużo tokenów. Za dużo wymian tekstowych. Metody połączenia, opóźnienia i czas do pierwszego tokena — wszystko fatalne. Skończenie z nim realnej roboty trwa wieki i jest męczące. Część może brać się z wiązań w T3 Code — nie obchodzi mnie. Audytowaliśmy to na wszystkie strony. W Antigravity też jest wolny, a tam go używałem.
Mimo wszystko kazałem mu zebrać review od modelów, których używam, przyjąć feedback i zbudować rozwiązanie. Przerwałem, bo musiałem iść nagrywać, ale po pierwszym przejściu zleciłem mu jeszcze jedną szybką rundę przeglądu w radzie. Dostał 9/10 od Opusa 55, 9/10 od Muse, 7,5 od 61 Soul i — nie mam pojęcia jak — 7 od Terary. Tak czy owak: nieźle, w ogóle nieźle. Jestem niemal pewien, że gdybym dał mu pogonić jeszcze trochę, dostałbym zmiany niemal identyczne pod względem możliwości i bezpieczeństwa. Czego kompletnie się nie spodziewałem. Ten model może być naprawdę dobrym narzędziem do reagowania na incydenty i pracy security. Jeśli Opus was blokuje — spróbujcie. Zaznaczę: jest szansa, że mój status wczesnego dostępu sprawia, że filtry łapią mnie łagodniej niż innych. Może mam przypiętą plakietkę „cyber” w ich programie. Nie wiem i nie obchodzi mnie to. Byłem pod wrażeniem i chcę się podzielić tym, co zrobiło na mnie wrażenie, bo to było dobre.
Pozdrowienia dla Brandona
Google — chwilka — pozdrowienia dla Pseudo Brandino. Brandon, czyli autor zgłoszenia, nie pracuje w firmie, która zleca mu takie badania. Wygląda na to, że siedzi w tym temacie z własnej inicjatywy — ale jest na tyle głęboko, że aplikował o Mythosa, dostał dostęp i złożył dla nas raport: banalnie łatwy do obsłużenia, konkretny, przejrzysty, zwięzły, użyteczny. Nie prosił o nic poza wzmianką w PR-ze. Sorki, Brandon — dostajesz dużo więcej, bo jesteś za dobry, żeby siedzieć w IT. To jego Twitter. Jeśli szukacie kogoś, kto rozumie budowanie z agentami na poziomie, na którym nie tylko używa T3 Code, ale przysyła informacje pomagające nam utrzymać to narzędzie bezpiecznym dla wszystkich użytkowników — to jest dokładnie typ człowieka, którego chcecie zatrudnić. Możecie do niego napisać, a ja go odwdzięczę się obserwacją, bo to był bardzo, bardzo użyteczny raport.
Codzienna praca: zaskakująco nieźle
Ogólnie model okazał się znacznie zdolniejszy do realnej roboty: korzysta z narzędzi T3 Code, żeby odpalać inne modele po feedback na temat swojej pracy; trzyma się zadania; faktycznie odpowiada na pytania i przyjmuje odpowiedzi w stylu „co myślisz o tej ścieżce?” albo „okej, rób”. Radzi sobie z tym dobrze. Prowadziłem sporo śledztwa wokół problemów ze zdalną aktualizacją Windowsa i z ciekawości kazałem Carbonowi to wdrożyć — idzie zaskakująco dobrze. Dostaje 8–9/10 od wszystkich modeli recenzujących. Dla równowagi: jednym z recenzentów jest Argan w roli błazna.
(Informacja dodatkowa: „rada” to system Theo, w którym pracę agenta recenzują inne modele; „błazen” to model trzymany w radzie raczej dla chaosu niż powagi.)
Werdykt
Czy wybrałbym ten model jako domyślny do kodowania? Nie. Absolutnie nie. Opus nadal jest nie do pobicia. Nawet po premierze Fable 52 Opus to świetny stosunek ceny do możliwości, świetne doświadczenie i świetny inżynier. Na planie za 200 dolarów Opus przy realnej pracy wydaje się praktycznie nielimitowany. Z Carbonem szybciej uderzycie w limity. Przejdziecie przez ogromną podwyżkę ceny. Wszystko będzie działać wolniej. Model będzie mówił rzeczy trudniejsze do zrozumienia, będzie popełniał głupie błędy, będzie halucynował. Będziecie mieli kiepski czas. A jeśli nie macie — zazdroszczę, bo pracujecie na bardzo prostej bazie kodu. Ja też za tamtymi czasami tęsknię. W moim doświadczeniu nawet rzeczy, które na szybko poskładałem z Opusem, bywają za duże, żeby ten model je poprawnie ogarnął. Szalone, że firma z jedną z największych baz kodu na świecie zrobiła model, który tak męczy się na dużych bazach — a robi. I żaden inny model tego problemu nie ma.
To wciąż ogromny skok. Znacznie przyjemniejszy w użyciu, lepiej trzyma się zadania. Na początku byłem pod wrażeniem: „wow, może Google w końcu ogarnęło?”. Potem używałem dalej i znów zaczęły pokazywać się rysy. To nadal model Gemini. Ale to duży krok w dobrą stronę. Posunąłbym się tak daleko, że różnica między 3.8 Flash a Arganem była mniejsza niż między Arganem a Carbonem — jeśli chodzi o wrażenia i codzienną, realną pracę. Daleko mu do przyjemności użytkowania modeli pokroju Muse Wonder Full, ale przynajmniej działa. Poważnie rozważam awans z pozycji błazna w mojej radzie, żeby zobaczyć, jak z czasem wygląda jego feedback. Nie powiem, że Google „ugotowało” — ale jest znacząco mniej źle niż wcześniej.
Fish slop po 25 minutach: im dłużej patrzysz, tym gorzej
Kiedy wcześniej zaczynałem z fish slopem, była 7:46. Wątek chodzi już od dłuższej chwili bez żadnej aktualizacji, wciąż pracuje i teraz sporo pisze. Skończył po prawie 25 minutach? Zobaczmy, co zrobił, kiedy kazaliśmy mu „zrobić pięknie” na demo.
Zbudował jakieś rzeczy 3D. Odpalamy… Mniej źle. Nadal słabo. Mam wiele pytań do projektu jego śmigła — a słowo „projekt” to tu spore nadużycie. Szczerze — byłem przekonany, że Google jest do przodu w 3D. Najwyraźniej nie jest. O boże, popatrzcie na rybę. Popatrzcie, co zrobił z pierścieniami — nie założył ich na rybę, jak powinien. Leżą obok. Wow. Im dłużej patrzysz, tym gorzej. Nie używajcie tego modelu do 3D. Jest mnóstwo lepszych opcji, które nie wymagają pilnowania za rączkę, żeby w ogóle działały na podstawowym poziomie.
Podsumowanie
Ten model jest niemal wyłącznie użyteczny do developerskiej pracy security — i to pod warunkiem, że macie dostęp do czegoś innego. Oczywiście, jeśli z jakiegoś powodu jesteście zamknięci w ekosystemie Google, poczujecie upgrade. Google wciąż nie dogoniło tego, co dzieje się poza nim, ale robi realny postęp. Carbon jest znacząco mniej żenujący niż Argan. Prawdopodobnie powinni byli w ogóle nie wydawać Argana i pokazać od razu ten model. A może — tylko może — to znaczy, że wyciągają właściwe wnioski i w niezbyt odległej przyszłości w końcu coś z siebie dadzą. Przepraszam, ale wciąż nie mogę zostać fanem modelu Gemini. Jestem wdzięczny, że potrafi to, co potrafi, i niesamowicie wdzięczny, że Google nadal mnie znosi, mimo że od lat nie polubiłem żadnego ich modelu. Trzymam kciuki, żeby następny był dobry.
A jak Wy to widzicie? Przesadzam z tym, co mi nie pasuje, czy ten model po prostu nie jest użyteczny w realnym świecie? Dajcie znać. Do następnego — pa, nerdzi.