O czym jest ten film
- Po ośmiu miesiącach bez dużego modelu Google wypuszcza Gemini 4 Argon — dostępny w API, AI Studio, aplikacji Gemini, Antigravity i w trybie AI w wyszukiwarce.
- Cennik 2/10 dolarów za milion tokenów to stawka „wprowadzająca” — od 1 grudnia 4/20 dolarów; do tego model jest żarłoczny na tokeny i słabo trafia w cache.
- W zewnętrznych benchmarkach (Artificial Analysis) Argon ląduje nad 6 Astrą i GPT-6.1 Soul, ale pod Opusem 5.5 — przy tym wychodzi drożej.
- W autorskim SkateBench (nazywanie trików deskorolkowych) Argon jako pierwszy model zdobywa komplet punktów; Google od lat dziwnie dominuje w tym teście.
- Frontend wypada dobrze, zwłaszcza z włączonym design skillem Anthropic; rekordu nie pobija — Theo najwyżej ceni Fable 5.1.
- Unikalne atuty Gemini: hojny dostęp do YouTube API (np. transkrypcje) i mocne zadania wizyjne; paradoksalnie w samych usługach Google model wypada słabiej niż u konkurencji.
- W czterech audytach realnego kodu Argon dostaje od sędziów 2,25–4,38 na 10, a większość jego twierdzeń o bazach kodu jest fałszywa (np. 24/36 i 56/78).
- Przykład z życia: pull request na 1200 linii zamiast 30, zepsute CI, rozwiązanie regexem mimo gotowych poprawek w repo; Opus 5.5 naprawił ten sam problem w 21 liniach.
- Ryzyko konta: ban w Gemini może — mimo obietnic — objąć całe konto Google, czyli YouTube, maila i hasła; integracja Antigravity pełna jest wpadek.
- Werdykt Theo: jedna z gorszych premier roku; w T3 Code zacznie automatycznie zamykać PR-y składane przez Gemini i standardowy Muse Wonder; krążą plotki o lepszym snapshocie.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Nie porównuj cen za milion tokenów — porównuj koszt zadania
Na czym polega: Argon kosztuje 2 dolary za milion tokenów wejściowych i 10 za wyjściowe, ale zużywa mnóstwo tokenów na zadanie i fatalnie trafia w cache (70–80% wobec ponad 99% u konkurencji), więc realny rachunek bywa wyższy niż u „droższego” na papierze Opusa 5.5. Do tego stawka jest czasowa: od 1 grudnia podwaja się do 4/20 dolarów.
Jak stosować: Przed wyborem modelu policz koszt typowego zadania end-to-end: tokeny wejściowe plus wyjściowe, skuteczność cache i czas. W narzędziach agentowych loguj trafialność cache osobno dla każdego modelu.
Na co uważać: Wykresy kosztów potrafią zawierać błędy — Theo złapał cennik na Muse Wonder, którego oficjalnie w ogóle nie ma, bo Meta podała tylko subskrypcję.
2.„100% skuteczności w evalach” znaczy tyle, co sam eval
Na czym polega: Google i Deloitte chwalą się stuprocentową skutecznością w swoich ewaluacjach. Theo ma własny eval — SkateBench, nazywanie trików deskorolkowych — który Argon faktycznie przechodzi wzorowo. Niestety nikt nie zarabia na życie nazywaniem trików.
Jak stosować: Zbuduj mały, własny test na swojej bazie kodu: lista twierdzeń do zweryfikowania, ręczna lub automatyczna weryfikacja, a potem ocena przez panel innych modeli-sędziów. Wtedy „100%” zacznie coś znaczyć.
Na co uważać: Wynik bez znajomości treści evala to materiał marketingowy, nie dane. Zawsz pytaj, co dokładnie było mierzone.
3.Halucynacja to nie to samo co głupia decyzja projektowa
Na czym polega: Bezużyteczny power-up w grze czy 1200 linii zamiast 30 to nie zmyślanie faktów — to brak rozumienia systemu. Argon wypada czołowo w benchmarkach halucynacji (15% w AI Omniscience), a mimo to w audytach kodu mija się z prawdą w większości twierdzeń.
Jak stosować: W ocenie modelu rozdzielaj „mówi nieprawdę o faktach” od „podejmuje bezsensowne decyzje”. Pierwsze łapiesz weryfikacją twierdzeń, drugie — kontrolą zakresu i testami na własnym projekcie.
Na co uważać: Niski wskaźnik halucynacji w cudzym benchmarku nie gwarantuje użyteczności. Liczy się także to, że model po prostu często odmawia odpowiedzi.
4.Zawsze pytaj o wcześniejsze rozwiązania — model woli wymyślić swoje
Na czym polega: W repo Theo wisiały już dwa pull requesty naprawiające problem z SQLite. Gemini ich nie znalazł i zamiast wskazać gotową poprawkę, wymyślił własną, błędną — dorzucając do tego routing żądań regexem.
Jak stosować: W instrukcjach dla agentów wpisuj na sztywno: „najpierw przeszukaj issues i PR-y, zanim napiszesz choć linijkę”. Trzymaj historię poprawek w miejscu, do którego agent ma dostęp.
Na co uważać: Pewna siebie „mapa drogową” i konkretny procent bez dowodu to sygnał, że model udaje pewność, a nie że ją ma.
5.Model wykona dosłownie to, co mu zamówisz — i to w maksymalnym rozmiarze
Na czym polega: Polecenie „napraw priorytet 1” skończyło się PR-em na 1200 linii, bo Argon nie sprawdził, czy priorytet 1 był w ogóle trafny, i nie ograniczył zakresu zmian.
Jak stosować: Definiuj zadania z górną granicą („maksymalnie 50 linii, w tych plikach”) i wymagaj dowodu diagnozy — testu, logu — zanim padnie jakikolwiek kod.
Na co uważać: PR łamiący konwencje repozytorium i czerwone CI to naturalny kandydat do zamknięcia. Nie szlifuj — odrzuć i zleć od nowa.
6.Frontend: najpierw dobry design skill, potem szybka iteracja
Na czym polega: Argon generuje strony, których nie poznać jako wytwór AI — ale tylko z oficjalnym design skillem Anthropic. Bez niego wracają żenujące górne nawigacje i nadmiarowy tekst. Do iterowania prawdziwego interfejsu kluczowa jest szybkość rund, nie „inteligencja” modelu.
Jak stosować: Włącz design skill w narzędziu do generowania UI, iteruj krótkimi rundami z szybkim modelem (u Theo: Astra na ultrafast), a dopracowuj mocniejszym.
Na co uważać: Szybkie generowanie tokenów to nie to samo co szybkie rozwiązywanie problemów — Argon „pisze” prędko, ale pracuje wolno. Smaku „taste skill” też lepiej nie używać.
7.Traktuj Gemini jako dostęp do danych Google, nie jako generalistę
Na czym polega: Prawdziwa przewaga Gemini to hojny dostęp do YouTube API (np. wyciąganie transkrypcji) i historycznie mocne zadania z obrazem. W codziennych usługach Google — jak własna skrzynka mailowa — Theo lepiej radzi sobie z Grokiem i ChatGPT niż z czymkolwiek od Google.
Jak stosować: Wpiń Gemini w konkretny punkt pipeline’u tam, gdzie potrzebujesz danych z YouTube albo nietypowej analizy obrazu — i porównaj z alternatywami na własnych przykładach.
Na co uważać: Nie zakładaj, że „skoro Google, to zintegruje się z Gmailem czy Drive’em”. Praktyka pokazuje raczej odwrotnie.
8.Rozdziel konta: ban w Gemini może kosztować cały ekosystem Google
Na czym polega: Konto Gemini to konto Google. Mimo obietnic, że blokady dotyczyć będą tylko Gemini i Antigravity, zdarzają się bany całych kont — a wtedy ginie YouTube, mail, hasła w Chrome i wszystko, do czego logujesz się przez Google.
Jak stosować: Do pracy z agentami i testowania narzędzi Google używaj osobnego konta. Krytyczne usługi trzymaj niezależnie od konta, na którym „bawią się” boty.
Na co uważać: Wbudowywanie oficjalnego ACP od Google we własny produkt to ryzyko wdrożeniowe — dziwne wymagania, bugi i komunikaty o błędach po stronie Google.
9.Omiń maksymalne poziomy rozumowania
Na czym polega: W testach Theo model na poziomie Max wypadał gorzej niż na X High — więcej czasu, wyższy koszt, więcej błędów, zero zysku.
Jak stosować: Domyślnie pracuj na średnich poziomach rozumowania. Max włączaj punktowo i mierz różnicę na własnym evalu, zamiast zakładać, że „więcej znaczy lepiej”.
Na co uważać: Marketing lubi pokazywać wyniki z najwyższych ustawień; do codziennej pracy bywają one po prostu nieopłacalne.
10.Do poważnego kodu dziś: Opus 5.5 albo GPT-6.1 Soul
Na czym polega: W czterech audytach Theo Argon miał 4,38, 2,25 i 3,95 na 10 oraz 14 fałszywych twierdzeń na 40 w teście buga — przy czasie prawie dwukrotnie dłuższym niż u liderów. Opus 5.5 wygrywa jakością, GPT-6.1 Soul stosunkiem jakości do ceny (przegląd buga: 10 minut, 1 dolar, zero błędów). Pełny Muse Wonder to czytelny „inny smak” do szybkich przeglądów.
Jak stosować: Kod produkcyjny powierzaj Opusowi 5.5 lub GPT-6.1 Soul. Jeśli musisz użyć Argon — każdy jego wynik przepuszczaj przez weryfikację innym modelem.
Na co uważać: Krążą plotki o lepszym snapshocie („carbon”). Zanim zainwestujesz, czekaj na niezależne testy, nie na materiały prasowe Google.
Redakcyjne tłumaczenie
Osiem miesięcy oczekiwania
Stało się. Gemini 4 Argon trafił w końcu do naszych rąk. Zanim ruszymy, szybkie pytanie: ile czasu, waszym zdaniem, minęło od ostatniej premiery pełnowymiarowego Gemini — czegoś z linii Pro? Między wydaniami w stylu 5.6 Soul i 6 Astry mijały się miesiąc, góra dwa. Między Gemini 3.1 Pro a Gemini 4 Argon minęło osiem miesięcy. Od lutego Google nie pokazało nam nic poza modelami Flash. Po ponad tygodniu zapowiedzi wreszcie jest coś, w czym można umościć ręce.
A przy takiej premierze jest o czym mówić: od cen, przez frontend, możliwości 3D i wszystkie te dziwactwa, przez które Gemini jest Gemini, aż po porównania z najnowszymi wydaniami — Opusem 5.5, GPT-6.1 Soul i Muse Wonder, po którym — jeśli widzieliście mój ostatni film — wiecie, że jestem całkiem ciepły.
(Informacja dodatkowa: Muse Wonder to model Mety; Theo testował równolegle jego wersję pełną i standardową.)
Kilku moich znajomych z Google naraziło się trochę, żeby załatwić mi dostęp przed premierą. Jestem im bardzo wdzięczny i szczerze mam nadzieję, że nie oberwą za to, co zaraz powiem. Ten model ma mocne strony i ma słabe strony. Zwykle w tym miejscu zażartowałbym, że nie jestem opłacanym piewcą, bo firma mi nie płaci — ale akurat żartować nie mogę: Google płaci mi całkiem nieźle jako twórcy na YouTube, na którym — jak mniemam — właśnie mnie oglądacie. Tyle że za materiały o Gemini i Antigravity nie biorę od nich ani grosza. Co więcej, moje wcześniejsze filmy o Gemini omal nie kosztowały mnie demonetyzacji, więc jeśli już, ta moja szczerość wychodzi mi bokiem. Wybaczcie więc krótką przerwę na sponsora.
(Przerwa sponsorska, w skrócie: WorkOS — warstwa logowania dla aplikacji, używana m.in. przez OpenAI, Anthropic, Cursor czy Vantę. Najciekawszy jest nowy standard AuthMD, opracowany przez WorkOS z Firecrawl i Cloudflare, który pozwala agentom rejestrować się w usługach w imieniu użytkownika. Argument Theo z autopsji: pracuje dziś głównie rękami agentów, więc platformy muszą być używalne dla nich — logowanie włącznie.)
Gdzie znajdziemy Argona i co obiecuje Google
Argon jest od dziś dostępny globalnie: w API, AI Studio i na platformie Gemini dla deweloperów i firm, w Antigravity oraz dla subskrybentów Google AI Ultra, a w aplikacji Gemini i trybie AI w wyszukiwarce — dla subskrybentów Ultra i Pro. I dopiero przy tej okazji uświadomiłem sobie, w co zamieniła się oferta produktów Google. To istny młyn. (Ostrzeżenie: ich strona razi jasnością, bo ktoś nie zrobił trybu ciemnego.)
Według Google model błyszczy w pogłębianej pracy nad złożonymi zadaniami z realnego świata — w kodzie, finansach, prawie, cyberbezpieczeństwie i nauce — a jego precyzja w zadaniach wieloetapowych ma wystarczać do wyprzedania innych czołowych modeli i do pierwszego miejsca na indeksie VALS, mierzącym wyniki w krytycznych sektorach gospodarki: finansach, kodzie, prawie i podatkach.
W materiałach o Antigravity przeczytamy, że zespoły zwiększyły liczbę zgłoszeń kodu pisanych przez agentów o ponad 35 procent, a liczbę wycofanych zmian zredukowały o blisko jedną trzecią. Szczerze? To niepowalują liczby — zwłaszcza że to, czego używano wcześniej, też nie należało do czołówki.
Ciekawsze jest to, co usłyszałem od jednego z pracowników Google — nie od tych, o których Google wie, że ze mną rozmawiają, więc proszę nie szukać wśród ludzi, z którymi normalnie współpracuję. Nie usłyszałem, że Argon to rewolucja albo że zmienia sposób budowania oprogramowania. Usłyszałem: „Rzadziej sięgam po Opusa 5.”. Nie 5.5 — piątkę. Tę, którą głośno skrytykowałem, gdy okazało się, że w pierwszym filmie dałem się nabrać. Ale trudno, zobaczmy, co to potrafi — przynajmniej według Google.
Podają, że Argon pomógł im rozplątać kod funkcji przeglądarkowych w Chrome: przy równoległym wprowadzaniu czystych zmian model pozwolił zespołowi przeprowadzić refaktoryzację architektury na setkach plików i skrócić miesiące pracy do tygodni. Ten język brzmi, jakby został napisany w 2024 roku. Jest też historia o zoptymalizowaniu produkcyjnej bazy kodu w Pythonie w kilka godzin. A potem pokazowe rzeczy 3D — naprawdę efektowne. Uwaga: to nie wygenerowane wideo, tylko wygenerowane modele trójwymiarowe, przepuszczone przez coś w rodzaju cyfrowego rotoskopu, żeby pokazać je w formie filmu. Bardzo ładne. Animacje są nadal żenujące. A osadzony odtwarzacz YouTube na stronie jest zepsuty i nakładka nie chce zniknąć. Klasyka. Od dawna powtarzam żart: poznacie, że Google ma dobry model, po tym, że ich oprogramowanie w końcu zacznie działać.
Jest i cytat od kogoś z Deloitte: wstępne wrażenia bardzo mocne, długotrwałe zadania w ich przepływach pracy kończyły się sukcesem w stu procentach przypadków, model utrzymywał kontekst i przechodził przez kolejne narzędzia na imponujących dystansach, rozumowanie znacząco lepsze i tak dalej — tekst się ucina. Google będzie Google.
Nie powinno mnie aż tak irytować to „stu procent sukcesów w naszych evalach”, bo wszystko zależy od tego, co dokładnie jest ewaluowane. Przykład? Mam eval, w którym Gemini osiąga stuprocentową skuteczność. SkateBench.
Ceny: okazja, która przestanie nią być
Zanim pokażę własne pomiary, zacznę od cudzych. Na indeksie Artificial Analysis koszt Argon wcale nie wygląda dobrze, gdy uwzględnić liczbę zużywanych tokenów. Wynikiem ląduje powyżej 6 Astry i GPT-6.1 Soul, ale wyraźnie poniżej Opusa 5.5 na poziomie High — nie mówiąc o X High i Max — a przy tym wychodzi drożej niż Opus na High. Ten indeks nie jest doskonały, do kodu nadaje się średnio, ale daje dobry ogólny pogląd na to, gdzie plasuje się inteligencja.
Pokazuję te liczby najpierw, bo ludziom wyłącza się krytyczne myślenie, gdy zobaczą cennik. Dwa dolary za milion tokenów wejściowych, dziesięć za wyjściowe — na tle stawek Opusa 5.5 wygląda to okazjonalnie. Nie jest. Z dwóch powodów.
Po pierwsze, ten model jest żarłoczny. Nie należy do efektywnych i pożera mnóstwo tokenów na zadanie, co samo w sobie popycha koszt w górę — widać to zresztą w danych Artificial Analysis.
Po drugie — i to jest rażące — model fatalnie trafia w cache (pamięć podręczną odpowiedzi). W tej edycji dostałem najgorszą trafialność ze wszystkich modeli, których używałem ostatnio: 70–80 procent wobec ponad 99 procent u konkurencji. A to oznacza, że 95-procentowa zniżka na trafienia w cache będzie się zdarzać rzadko, a prawdziwy koszt wejściowy będzie mocno wyższy, niż sugeruje cennik. Możliwe, że to błąd Antigravity — w tym, jak wysyła zapytania, albo w tym, jak raportuje mi dane. Możliwe też, że leży to w implementacji MCP w T3 Code, bo po ich okropnym CLI nigdy mnie nie złapiecie. Nie mam ochoty tego drążyć: to Google powinno to diagnozować, nie ja.
Przy okazji: w materiałach premierowych pojawiła się jakoś cena Muse Wonder — 4 dolary na wejściu, 20 na wyjściu. To nieprawda, bo Meta nigdy nie podała cen tokenowych, a już na pewno pełna wersja nie będzie kosztować tyle, co standardowy Wonder. Skoro takie liczby trafiają na wykresy, tracę do nich nieco zaufania.
I wisienka: 2/10 dolarów to cena wprowadzająca. To nowy ulubiony numer Google przy premierach — rozsądna stawka do pewnej daty, potem podwójka. Od 1 grudnia zapłacimy 4 dolary na wejściu i 20 na wyjściu. Człowiekowi się wydaje, że nie chcą, żeby ktokolwiek budował na tym modelu na poważnie. Nie jest to tak żenujące jak posunięcie Mety, która w ogóle nie podała ceny i zamknęła model w subskrypcji, ale nienawidzę tego. Podajcie stawkę, przy której dacie radę serwować, a potem ją obniżajcie — nie podwyższajcie. Jedyny dostawca, który regularnie podnosi ceny modeli, to nasi przyjaciele z Google.
SkateBench: pierwszy komplet punktów
Nadal nie mogę w to uwierzyć, ale Gemini 4 Argon zdobył komplet punktów w mojej prywatnej wersji benchmarku sprawdzającego, jak dobrze modele nazywają triki deskorolkowe. Dla skali: Opus 5.5 na poziomie Max osiąga 79 procent. Ten test okazuje się zaskakująco trudny — zwłaszcza triki w pozycjach switch i fakie, bo deskorolka to cała gramatyka ustawienia stóp na desce. Google od dawna ma tu dziwną przewagę: Gemini 3.8 Flash wykręcał 96 procent. Ale pierwszy idealny wynik chwycił mnie za serce — tym bardziej gdy przyjrzałem się logom i zobaczyłem, ile błędów sypało API. We wczesnych testach stawki błędów były naprawdę mocne i musiałem przebudować sporo benchmarku, żeby ominąć wywalające się endpointy. Nie wiem, czy od tego lepiej.
W wykorzystaniu tokenów model też wypadł zaskakująco dobrze: odpowiadał szybko i nie kombinował za długo — u Gemini rzadkość i miła odmiana. Więc jeśli wasze zadania choć trochę przypominają nazywanie trików deskorolkowych, jest spora szansa, że z Argonem będzie dobrze: szybko, oszczędnie i celnie. Tylko pamiętajcie: „model w stu procentach przechodzi nasze evaly” znaczy dokładnie tyle, ile eval i jego związek z waszą pracą. Nie znam wielu osób, które żyją z nazywania trików. Szkoda — chętnie bym tak pracował.
Wizja i dokumenty: wciąż mocna strona Gemini
Google mówi też o zaawansowanym rozumowaniu, multimodalności i rygorystycznym uziemieniu — słowem, model dobrze czyta dokumenty, PDF-y, wideo i audio. Historycznie modele Gemini miały wyraźną przewagę w pracy z obrazem: wystarczyło wrzucić zdjęcie płyty głównej i kazać opisać elementy i nanieść je na wykres w Pythonie. Tego akurat nie benchmarkowałem, bo używałem modelu głównie do kodu, ale jeśli macie złożone zadania wizyjne — koniecznie przepuśćcie je przez Gemini 4. Możecie się zdziwić.
Frontend: porządnie, ale bez rewolucji
Zacznijmy od czegoś, w czym Google historycznie było mocne — frontendu. Przy premierach 3 Pro i 3.1 Pro wiele z tego wyniosłem: spora część interfejsu i doświadczeń użytkownika w Lawn, mojej alternatywie dla Frame.io do pracy z wideo, powstała przy udziale Gemini 3.1 Pro. Cała produkcja moich filmów na YouTube przechodzi przez tę platformę — każdy materiał tam trafia i jest zarządzany przez zespół. Potem doszlifowywałem to modelami Opus, ale właśnie to przerzucanie się między nimi pozwalało mi wtedy budować strony startowe z charakterem.
Jak to wygląda dziś? Całkiem dobrze. Nie jestem pewien, czy strona główna powinna mieć aż tyle tekstu, ale wygląda bardzo porządnie — gdybem wpadł na taką przeglądając internet, nie podejrzewałbym AI. Jest też interaktywny fragment, który faktycznie działa i nie wywołuje wtórnego zawstydzenia. Uwierzcie, gdybym miał się czepiać, czepiałbym się bez litości. To jest w porządku.
Wrzuciłem kilka wersji przez WhichAI — narzędzie naszego znajomego Dary (zajrzyjcie na whichai.dev, świetnie pokazuje, jak możliwości frontendowe różnią się między modelami). Uwaga techniczna: wszystkie pokazane wersje używają oficjalnego design skilla od Anthropic. Jeśli nie wychodzą wam dobre projekty — koniecznie go włączcie. Bez niego dostajecie dużo więcej żenady: zbędny tekst wszędzie, obrzydliwe fonty i ta okropna górna nawigacja wisząca nad każdą wersją. A ten retro wariant… nie. Nie polecam natomiast taste skilla: wraca żenująca nawigacja i konsekwentnie szkaradny układ. Design skill to trafiony balans — zmusza model, żeby robił rzeczy przyzwoite i niepowtarzalne.
Więc frontend: nieźle. Czy to stan sztuki? Nadal uważam, że Fable 5.1 robi najlepsze fronty, jakie widziałem. Opus ma swoje momenty, ale Fable projektuje najfajniejsze, najbardziej charakterne strony marketingowe. Żaden model nie oddaje rzeczy dobrze za pierwszym razem, więc wolę te, z którymi można gadać tam i z powrotem. Slap Politics zbudowałem w całości na modelach OpenAI — na Astrze na poziomie ultrafast. Nie dlatego, że ultrafast magicznie lepiej projektuje (OpenAI projektuje średnio), ale przy tym tempie mogłem opisywać, czego chcę, prosić o wersje i szlifować do skutku bez wiecznego czekania. Przy dopracowywaniu prawdziwego interfejsu — przycisków, z którymi klika użytkownik — szybkość jest bezcenna.
Model Google są szybkie, ale to nie znaczy, że szybko odhaczają robotę. Argon z moich obserwacji szybkim modelem nie jest. Generuje tokeny prędko, ale problemy rozwiązuje powoli.
Unikalne moce: YouTube, obraz, języki
Każde laboratorium ma jakieś swoje supermoce i warto to traktować poważnie. Modelom OpenAI można generować obrazy przez ich własne API; przy Claude trzeba wołać zewnętrzną usługę. Groki mają wątek do danych z X — gdy potrzebuję czegoś z Twittera, nie zapłacę majątku za oficjalne API, tylko każę Codexowi albo Claude zawołać Groka, który ma dostęp do API xAI. Gdzie jest unikalny dostęp do danych, tam da się je przez dany model wyciągnąć.
Dlaczego o tym mówię? Gemini mają supermoce, które bardzo mnie dotyczą. Jestem youtuberem, więc siedzę po uszy w YouTube — a Google daje swoim modelom bardzo hojny dostęp do YouTube API. Jeśli chcecie wyciągnąć transkrypt z filmu, API Gemini to dziś jedna z najlepszych dróg. U mnie w firmach modele Google robią taką robotę masowo, więc Argon będzie u mnie dużo używany. Nie dlatego, że jest wyjątkowo inteligentny albo okazjonalny cenowo — dlatego, że Google ma dane i możliwości, których nikt inny nie wystawia.
Tyle że wbrew intuicji Gemini wcale nie jest dobre w obsługę usług Google. Z własną skrzynką mailową lepiej radzą mi się narzędzia typu Grok czy ChatGPT niż cokolwiek od Google. Przyszpilę: za każdym razem, gdy w jakiejś aplikacji pojawia się przycisk Gemini, robi mi się nieswojo — zwykle nie działa albo jest żenujący. Jeśli jesteście twórcami na YouTube albo z nimi pracujecie, Gemini przyda się w taśmie produkcyjnej. Jeśli robicie nietypową robotę z obrazem — warto testować. Trochę z tej przewagi jednak wyparowało: sporo rzeczy, w których modele Google kiedyś były bezkonkurencyjne, konkurencja już nadrobiła.
A jednak jakieś DNA w tym modelu siedzi — widać to po SkateBench: jedyny wynik idealny, a powyżej 90 procent łamią się tylko Gemini i jakoś Muse Wonder. Reszta siedzi w osiemdziesiątkach, siedemdziesiątkach, czasem pięćdziesiątkach i sześćdziesiątkach. Może więc mają ukryte talenty, których nie odkryłem. Słyszałem opinie, że Gemini świetnie radzą sobie z internacjonalizacją, lokalizacją i pracą wielojęzyczną — w swoich testach specjalnie tego nie widziałem, ale wspominam, bo to dziś rzadkość: skoro wszyscy wrzucają wszystko do pretreningu i potem dociskają model kodem, unikalnych zdolności jest coraz mniej. Google jakieś jeszcze ma.
Fish Slop: test 3D
Czas na to, na co wszyscy czekaliście — jakoś szczególnie — czyli Fish Slop, gra, którą buduję z każdym modelem, żeby sprawdzić jego trójwymiar. Nie, film nie zniekształcił się przy kodowaniu: model naprawdę tak porąbał taflę wody. Interfejs jest… cóż. Bardzo google’owy, delikatnie mówiąc. Zrobił całą pętlę rozgrywki — pięć zbiorników do przejścia — i to się trzyma. Model okrętu podwodnego to najsłabszy punkt: nie tak źle jak u Muse czy Groka, ale daleko od dobrze. Biorąc pod uwagę szalone dema 3D, które wrzucali inni, oczekiwałem więcej. Dałem mu dokładnie ten sam prompt, konfigurację i narzędzia co pozostałym.
Animacje wypadają przyzwoicie: ryby poruszają się sensownie, a oczy patrzą we właściwą stronę — brzmi banalnie, ale jeszcze kilka miesięcy temu to była rzadka umiejętność. Są jednak wpadki prosto z Google. Pokażę zabawniejszy przykład.
Gra musi mieć fizykę i mechaniki. U mnie ryby jedzą pokarm. Problem: pokarm opada na dno zbiornika i nigdy nie znika. Ryby mogłyby dopłynąć i go zjeść, ale nie umieją tego wymyślić. Więc podpływają głodne, próbują zjeść pokarm leżący na dnie, nie potrafią — i stoją nad nim wpatrzone, aż padną z głodu. Nie byłoby tak źle, gdyby można było dosypać jedzenia, ale gra pozwala wrzucić do zbiornika tylko określoną ilość naraz, a o tym, że pokarm ma znikać, model po prostu zapomniał. Efekt: ryby trwają w bezruchu wiecznie.
Ta wersja była na tyle zepsuta, że dałem mu drugą szansę. Wypunktowałem, co nie gra — migotanie na suficie zbiornika, niedziałające karmienie, rozczarowującą grafikę — i kazałem poprawić. Chwilę pochodził i wrócił z czymś dużo ładniejszym. Modelu okrętu, niestety, nie ruszył, ale karmienie naprawił w sporym stopniu i dało się w to zagrać. I wtedy zaczynasz łapać te całe google’owe dziwactwa. Najlepiej ujmę to tak: temu modelowi brakuje „smaku dużego modelu”. Trudno to opisać — to rodzaj przemyślności i uogólniania, który pojawia się, gdy model ma lepsze pojęcie o świecie, będąc po prostu większym. Mówiłem o tym przy okazji 3D w filmie o Muse: zdolności trójwymiarowe nie odzwierciedlają, jak model jest sprytny, bo 3D wytrenowuje się osobno, dokleja. Ten model wyraźnie dostał więcej czasu przy trójwymiarze, ale robi też głupoty, których u innych nie widziałem.
Na przykład: potwory pojawiają się co minutę. Po ukończeniu fali wypadają power-upy, które działają 30 sekund. I teraz — po co power-up wzmacniający atak, skoro po jego podniesieniu nie mam w co strzelać, a wygasa, zanim cokolwiek się pojawi? Jest bezużyteczny z samej definicji: nigdy nie będzie potwora w zbiorniku, kiedy on działa. To typ głupoty, której nie popełniłby człowiek i nie popełniłby rozsądny model — popełni ją model, którego celem jest napisać kod wyglądający dobrze, bez myślenia. Wyobraźcie sobie półetatowca w zespole: dorzuci pomysł na power-up zadający więcej obrażeń, nie zastanowi się i go wcieli. Rozsądny model powinien rozumieć system na tyle, żeby wiedzieć, że to głupota. Gemini nie wie.
Halucynacje według benchmarków i według życia
Dobra pora na zachowanie modelu w prawdziwych zadaniach — zwłaszcza halucynacje. To, co pokazałem wyżej, halucynacją nie było. Model nie zmyślił nieistniejącej rzeczy: zobaczył system power-upów, wymyślił do niego pomysł i go wcielił. Głupi, bezsensowny — ale niczego nie zmyślił.
Według Artificial Analysis model faktycznie niewiele halucynuje. W ich benchmarku AI Omniscience Gemini 4 Argon osiągnął 15 procent halucynacji — najmniej wśród modeli powyżej 45 punktów na indeksie inteligencji; w oficjalnych zestawieniach wypąda imponująco. Ale Omniscience to nie tylko halucynacje: liczą się i błędne odpowiedzi, i częściowe, i odmowy. Dobra odpowiedź daje punkty, zła zabiera, „przepraszam, nie pomogę” jest neutralne. I na całości Argon już nie wygrywa — jest czwarty, bo trafnych odpowiedzi ma na tyle mało, że niechęć do strzelania nie ratuje wyniku. Po prostu częściej odmawia. Miło, że Google oganicza halucynacje, ale to wciąż nie jest dobry wynik. Z mojego doświadczenia ten benchmark ma się nijak do rzeczywistości, bo ten model w praktyce bywa po prostu często w błędzie. I zaraz zobaczycie dlaczego.
Audyt 1: TS Rust
Zaczynamy od TS Rust — projektu, o którym wspominałem: tam przepisałem cały kompilator szachowy w Rust przy pomocy Opusa 5.5. Każdemu modelowi kazałem przejść po bazie kodu i ją opisać: co można poprawić, co warto wiedzieć. Każde twierdzenie weryfikowałem, a potem panel sędziów oceniał, jak model sobie poradził.
GPT-6.1 Soul wygrał: 38 twierdzeń, wszystkie prawdziwe, zero błędów, informacje użyteczne i celne — średnia 8,84. Opus 5.5 tuż za nim: 8,78, ale trwało to 49 minut zamiast 28, kosztowało 24 dolary zamiast 4, a jedno twierdzenie było błędne. Bardzo dobry wynik — tylko że z błędem, za długo i za drogo. 6 Astra też bez błędnych twierdzeń, wyraźnie szybsza (20 minut), choć wciąż trochę za droga. Na X High 6.1 Soul jeszcze zyskał. I taki drobiazg: 6 Astra na poziomie Max wypadła gorzej niż na X High. Już nie raz to powtarzam i powtórzę znowu: omijajcie maksymalne poziomy rozumowania. Częściej szkodzą, niż pomagają.
Zauważyliście, że czegoś brakuje? Gdzie Gemini? No właśnie — trzeba było przewinąć niżej. Gemini 4 Argon w moim audycie TS Rust dostał 4,38. Mniej niż połowa wyniku Opusa i Soula. Czas: 43 minuty — prawie dwukrotnie dłużej niż 6.1 Soul. Koszt co prawda błahy, 3 dolary. Ale z 36 twierdzeń 24 były fałszywe. Większość rzeczy, które ten model powiedział o bazie kodu, była nieprawdziwa. Rozumiecie, jak to jest rażące? To znaczy, że przy realnej pracy w realnym kodzie model ma podobne — jeśli nie większe — szanse na zmyślenie niż na trafność. I dokładnie to pokrywa się z moim doświadczeniem.
Audyt 2: bug w T3 Code
Następna runda: prawdziwy bug w T3 Code, dotyczący przepływów masowej zdalnej aktualizacji. Opus 5.5 najlepszy: 8,22 — pięć błędnych twierdzeń na 46, 26 dolarów kosztu, 20 minut pracy, ale wnioski dobre i użyteczne. 6.1 Soul nieco niżej: przegapił kilka rzeczy o wysokiej wadze, które znalazł Opus, ale nie skłamał ani razu; 10 minut i 1 dolar. Szaleństwo — dlatego tak lubię 6.1 Soul jako model do przeglądów. Muse Wonder sporo niżej: przegapił część ustaleń, błędów miał tyle, co Opus, ale zrobił to w 6 minut i — co dla mnie ważne — bardzo czytelnie. Muse to po prostu inny smak.
Gemini to jeszcze inny smak. To nie jest destylat Claude’a, jak niejeden otwarty model — pogadajcie z GLM 5.3 Flash czy Kimi K3, wszystkie mówią i zachowują się tak samo — a te cztery modele zachowują się zupełnie różnie. Tyle że Gemini jest za słaby, żeby ta odmienność się opłacała. Pełny Muse Wonder jest może za drogi, żeby zmieniać (nie wiemy — znowu: brak ceny), ale przynajmniej nie kłamie 14 razy na 40. Muse przejął rolę, którą wyznaczałem dla Gemini. Mam nadzieję, że powoli widać, dlaczego byłem dla Muse łaskawszy, niż część was oczekiwała. Testowanie Muse i Gemini w tym samym czasie dobitnie przypomniało mi, jak bardzo nie lubię pracować z Gemini.
Audyt 3: Lakebed
Bez eleganckiej grafiki tym razem: audyt mojego produktu chmurowego, Lakebed. 6.1 Soul: 9 na 10. Sonnet 5.5: 8,5 na 10 — głównie dlatego, że Sonnet na poziomie Max po prostu pali i pali i pali, więc znajduje wszystko. Muse przysiadł: z 8,25, któreNotował obok Opusa 5.5 wcześniej, spadł do 5,75. Ale to nic w porównaniu z Argonem: 2,25 na 10. W panelu sędziów Muse ocenił jego ustalenia na trójkę, a Opus, Fable i Astra na dwójkę. Z 78 ustaleń 56 było błędnych — ponad 70 procent nietrafień. Ten model częściej zmyśli waszym agentom, niż przekaże im coś użytecznego w przeglądach. Jeśli mimo wszystko macie go używać do poważnej pracy — broń Boże przepuszczajcie wszystko, co zrobi, przez Soula, Opusa albo inny model bez takiego wskaźnika ściemniania. Nie pojmuję, jak ktokolwiek zmierzył, że ten model nie halucynuje, skoro w codziennej pracy z kodem jeszcze nigdy nie widziałem, żeby nie halucynował.
Audyt 4: architektura T3 Code
Ostatni przebieg: przegląd architektury T3 Code. Argon: 3,95 na 10. Przy okazji znowu Muse Wonder — nie lepszy od Fable czy Astry, ale łeb w łeb z Astrą, a przy tym o niebo przyjemniejszy w obsłudze, co też się liczy. Liczby mówią wszystko. Muse: 29 twierdzeń prawdziwych, 8 częściowo prawdziwych, 4 fałszywe. Argon: 31 prawdziwych, 14 częściowo, 47 fałszywych. Gemini 4 Argon miał więcej fałszywych ustaleń, niż Muse Wonder miał prawdziwych. Serio. To nie jest „trochę gorzej” ani „lekko większa szansa na błąd” — to różnica o rząd wielkości. Kłamie dziesięć razy częściej niż każdy inny model w moim zestawieniu, z jednym wyjątkiem: zwykłego, niepełnego Muse Wonder — ale tamto to po prostu śmieć, nie dotykajcie. Jedynymi złymi modelami w całym zestawieniu okazały się Muse Wonder standardowy i Gemini 4 Argon. Oba do kosza.
Jak widzieliście w filmie o Muse, jestem wybaczający, gdy model jest przyjemny w komunikacji. Punktu za to tu też nie ma. Ściany tekstu pełne rzeczy bez znaczenia, czyta się to opornie. No ale skoro kod działa, to jakoś ujdzie, prawda? No właśnie…
Pull request, który nie powinien powstać
Kazałem mu popracować nad warstwą połączeń SQLite w T3 Code, żeby ją ustabilizować dla intensywnych użytkowników — głównie na Windows, gdzie mamy zgłoszenia problemów z łącznością. Sporo poprawek znałem z góry; chciałem po prostu zobaczyć, czy Gemini je znajdzie. Zadałem pytanie: użytkownicy zgłaszają niestabilność połączeń, sporo wygląda na SQLite — co naprawić w pierwszej kolejności? Podrzuciłem nawet wskazówkę o async SQLite, które właściwym rozwiązaniem nie jest — właściwe to pooling: osobna pula odczytów i pojedynczy zapis.
Model ruszył na polowanie i od razu klasyka gatunku: czytanie plik po pliku, synchronicznie, w nieskończoność. Ale błysnął — poprawnie wskazał rozdział na pulę odczytów i pojedyncze połączenie zapisujące. Kazałem zrobić pull request do priorytetu pierwszego. Po trzydziestu minutach — dużo za długo; słyszałem, że Gemini jest wolniejszy właśnie w T3 Code, ale to nie może być nasza wina, bo używamy ich bindingów ACP (Agent Client Protocol — otwarty protokół łączenia agentów z edytorami), które dostarczają na własnych serwerach i które osadzamy w aplikacji; zresztą musieliśmy zrobić niejedno dziwne, żeby to w ogóle ruszyło, bo Google wymaga specjalnego traktowania — dostałem PR. Zamknięty. Zmiana, która powinna mieć 30 linii, miała 1200.
W repozytorium mamy proste skille opisujące format PR-a: otwarcie to dwa–trzy zdania o konkretnym problemie użytkownika, który naprawiamy. Zamiast tego dostałem streszczenie w stylu: „Rozdzielamy odczyty i zapisy SQLite w tym pliku w orkiestracji projekcji i serwisów zapytań, które czytają snapshoty i samodzielne selecty”. Zdanie ciągowe? Jest. Nieczytelna papka, zero zgodności z regułami repo. Wtedy zobaczyłem rozmiar. A potem mój ulubiony widok: czerwone CI. Testy i lint nie przeszły, model nie zadał sobie trudu, by je naprawić, ani by odnieść się do poważniejszych uwag naszych botów rewizyjnych. Odpuściłem.
Otworzyłem Opusa 5.5, wkleiłem identyfikator wątku i napisałem: ten PR powstał na Gemini 4 Argon, moim zdaniem to śmiecik, który ledwie opisuje problem — przejdź przez wątek w T3 Code, ustal, gdzie poszło źle, i powiedz szczerze, co myślisz o tej pracy. Jeśli się zgadzasz, że to lipa — zamknij z uzasadnieniem. Zgadzał się i zamknął, z komentarzem wyjaśniającym powody.
Gdzie poszło źle? W pierwszej turze diagnoza była w większości poprawna, ale bez dowodów — Gemini wskazał realny mechanizm: synchroniczny dostęp do bazy na głównym wątku. W drugiej turze naprawił złą połowę własnej diagnozy: pula odczytów nadal otwiera bazę synchronicznie na głównym wątku, więc wolny odczyt blokuje heartbeaty dokładnie tak samo jak przy zapisie. Jedyne, co się zmieniło, to mniej czekania na jednym semaforze — i to tylko wtedy, gdy włókno oddaje kontrolę w trakcie transakcji. Czyli: nie zadziałało. Opus wytknął mu też brak researchu. W repozytorium wisiały już dwa PR-y naprawiające te problemy. Pamiętacie, jak Muse — zamiast pisać kod — wskazał gotowy pull request i zasugerował scalenie? Gemini tego nie robi. Zamiast tego wymyśla własne, błędne rozwiązanie. Poprawna odpowiedź czekała w zakładce PR na naszym GitHubie, a on nie tylko jej nie znalazł — dorzucił jeszcze routing żądań regexem. Żeby było jasne: regexem. To jest dramat.
Według Opusa Gemini umie czytać kod i wyjaśniać, jak działa, ale nie testuje własnych teorii. Ani razu nie sprawdził, czy pula odczytów na głównym wątku faktycznie zatrzymuje blokowanie pętli zdarzeń. Na luźne pytanie odpowiedział pewną siebie mapą drogową i zmyślonym procentem. A gdy usłyszał „zrób priorytet 1”, zbudował go dosłownie i w maksymalnym rozmiarze — nie sprawdzając, czy priorytet 1 był w ogóle trafny. Kazałem Opusowi wprowadzić poprawki: 21 linii kodu. Scalone. Wejdą w najbliższym nocnym wydaniu i użytkownicy z problemami SQLite dostaną po prostu lepszy produkt.
Konta, stabilność i integracja z Google
Krótki wywód o stabilności i ryzyku, który bardzo mi leży na wątrobie. Gdybym dostał bana u Anthropic — przykro, ale założę nowe konto na nowy mail i niewiele tracę. OpenAI — trochę bardziej uciążliwe, ale znowu: nowe konto i po sprawie. Do obu usług loguję się przez Google, ale blokada uderza tylko w to logowanie. Gdybym jednak dostał bana na Gemini, mógłbym stracić kanał na YouTube — bo moje konto Gemini to moje konto Google. Maila, płatności przypisane do kart, zapisane hasła w Chrome, dostęp do wszystkiego, do czego loguję się przez Google. Google obiecało, że ban będzie dotyczył tylko Gemini i Antigravity, że całego konta już nie blokują. Ale widziałem ludzi, którym mimo wszystko blokują. Ryzyko jest realne.
Dlatego wbudowywanie ich oficjalnego ACP w T3 Code było ryzykowne. Zdecydowaliśmy się, bo usłyszałem, że „powinno być w porządku” — widać jednak wyraźnie, że niewiele w to wkładają. Przykład: w środku zadania, po godzinie i dwóch minutach bez końca czytania plików, model po prostu nie połączył się z bramką i odmówił dalszej pracy. Cały wątek do kosza, historia przepadła, wszystko od zera. Dramat. Do tego drobiazgi: nie raportują, jaki model właśnie działa, a poziomy „wysiłku” są sklejone z nazwami modeli — wybierasz „Argon high”, „Argon medium”, „Argon low” jak osobne modele. Każde inne laboratorium ogarnia ACP bez problemu, to prosty standard. Google bywa Google i nawet to potrafiło zepsuć. Wstyd przyznać, jak męcząca była integracja Antigravity i jaki odsetek bugów w T3 Code dotyczy wyłącznie Antigravity. Od pierwszej integracji to pięta achillesowa projektu i Gemini 4 niczego tu nie polepszyło. Trochę ulgi: dzięki ACP po raz pierwszy da się Gemini używać w przyzwoitym interfejsie — szczerze myślałem, że to sprawi, iż polubię go bardziej. Ale postawiony obok modeli, które umieją pracować — Muse, Opus, nawet Sonnet — boli jeszcze bardziej.
Werdykt
I doszliśmy do porównań końcowych. To nie fair. Nie fair dla pozostałych modeli. To śmiecik. Nie pytajcie, ile_limitów jest na planie za 200 dolarów — nie obchodzi mnie to i nie będę sprawdzał. Prawdopodobnie limit jest praktycznie nieograniczony, bo i tak z niego nie skorzystacie: frustracja wygra szybciej. To jest po prostu złe.
Przechodzę od słów do czynów. Nie ufam żadnemu modelowi Gemini ani Muse Wonder. Doprecyzuję: pełny Muse Wonder jest w porządku, ale standardowy Muse Wonder i Gemini 3, 4 i tak dalej nie wnoszą użytecznego kodu do bazy T3 Code. Chcę znaleźć sposób, żeby automatycznie zamykać wszystkie pull requesty składane w T3 Code przez modele typu Gemini 4 Argon czy zwykły Muse Wonder. Nie żartuję. Wdrożę to jeszcze w tym tygodniu. Straciłem więcej czasu i tokenów na weryfikację kodu pisanego przez Gemini 4, niż kosztowałoby napisanie go od razu mądrzejszym modelem. Gemini nie jest użyteczny w świecie kodu do niczego — może poza pierwszym podejściem do ładnej strony marketingowej. Skończę nagrywać ten film i nie będę używał Gemini do niczego poza wyciąganiem danych z YouTube.
To jedna z gorszych premier roku. Nie obchodzi mnie, co mówią benchmarki. Testowałem bez przerwy, w realnej pracy, i nie scaliłem ani jednej rzeczy, którą ten model dostarczył. Halucynacje jak z 2024 roku. Tak długo byłem wyrozumiały, bo jestem wdzięczny pracownikom Google — to jeden z bardziej otwartych na feedback obozów i próbowałem przekazać im te uwagi wcześnie. Słyszałem plotki, że wkrótce pojawi się lepszy snapshot — „carbon” czy jakoś tak. Nie wiem, o ile lepszy, ale musi być dużo lepszy, bo to jest śmiecik i nie mam zamiaru go dotykać, chyba że po dane z YouTube.
Napiszcie, co myślicie. Przesadzam, czy ten model jest faktycznie do wyrzucenia? Powiedzieli mi, że jest dobry w kodzie, a nie jest dobry w kodzie — mam dość. Może znajdziecie jakieś fajne zastosowania — dajcie znać w komentarzach. Do zobaczenia. Ja zostaję przy Muse. No dobrze, serio: pewnie zostanę przy Opusie 5.5. Ale wiecie, o co chodzi. Mam dość. Cześć.