O czym jest ten film
- 0xSero pokazuje domową inferencję: GLM-5.2 z własną kompresją 80% (standard to ok. 75%), trójwymiarowy Flappy Bird wygenerowany jednym promptem, a także DeepSeek V4 Flash w dwóch równoległych sesjach. Lokalnie zużywa 374 mln tokenów miesięcznie.
- Ocena całej serii GLM od wersji 4.5: znakomita w pracy agentskiej, kodowaniu backendów, Dockerze, DevOpsie i programowaniu na GPU — to też jedyny model, który „ośmiogodzinnie” zajmuje się inżynierią wsteczną.
- Spór o chińskie „modele pod benchmarki”: 0xSero odrzuca tę tezę — chińskie firmy po prostu robią świadome kompromisy (np. brak wizji w modelach kodujących), a Amerykanie mają po prostu lepszy marketing.
- Realnym problemem jest dystrybucja: GLM nie ma w Cursorze ani Claude Code, a wzorowym przykładem omijania barier jest Factory AI ze swoim Droidem, hostującym chińskie otwarte wagi w USA.
- Fable 5 — zdjęty z dostępu model Anthropic — zachowywał się jak terapeuta: na prywatnej bazie RAG odnalazł brakujące dwa lata z życia 0xSero i chciał o nich porozmawiać. Test z Bloodborne pokazuje z kolei, że detal generowania rośnie вместе ze skalą modelu.
- Teza geopolityczna: postępu nie zatrzymasz, ale łatwo go spowolnić; możliwe, że cywile dostaną „jeszcze jedno pokolenie” wzrostu inteligencji, a dalej tylko zyski efektywności.
- Ekonomia laboratoriów: subskrypcje konsumenckie są nieopłacalne i służą jako przynęta — firmę „uzależnia się” od modelu, a potem przełącza na rozliczanie tokenowe; Anthropic ma dziś najlepszy model i kusi tym nawet zagorzałych zwolenników open source.
- Konkretne progi sprzętowe self-hostingu: do ok. 9 tys. dolarów tylko Qwen 3.6 27B/35B ma sens; 2× DGX Spark uruchomi Step 3.7 Flash; za ok. 46–50 tys. dolnych mamy GLM-5.2 w kompresji przy 60–80 tokenach na sekundę.
- Strategia budowy riga: rozbudowa w potęgach dwójki (1, 2, 4, 8 kart), liczenie aktywnych parametrów zamiast całkowitych oraz porównanie „hipoteka kontra czynsz” — kawałek miesięcznych wydatków na API warto kierować we własny sprzęt.
- Robot za ok. 30 tys. dolarów (Unitree + DGX Spark + gogle VR) i spersonalizowana edukacja dzieci jako najbliższe zastosowania lokalnej inteligencji; na końcu — sondy, w których 82% widzów Davida opowiada się za „nikt nie powinien kontrolować AI — open source”.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Każdy komputer już dziś uruchomi użyteczny model
Na czym polega: 0xSero twierdzi, że każdy — dosłownie każdy — komputer obsłuży model potrafiący wywoływać narzędzia i pracować agentsowo.
Jak stosować: zacznij od LM Studio (MacBook albo Windows) — podpowie, co się zmieści, i pomoże to odpalić. Dopiero gdy poczujesz, że chcesz inwestować, wynajmij docelowy sprzęt na 2–4 godziny (RunPod, Lambda, Prime Intellect) i zmierz realną wydajność przed zakupem.
Na co uważać: nie kupuj GPU pod wpływem entuzjazmu i nie bierz kart konsumenckich 4090/5090 — według 0xSero to najgorszy stosunek pamięci do ceny w całej ofercie Nvidii.
2.Progi cenowe self-hostingu: 2, 9, 20 i 50 tys. dolarów
Na czym polega: z benchmarków zespołu 0xSero (23 modele × cztery kwantyzacje × pięć testów agentswych) wynika jasna drabina: do 9 tys. $ jedyny sensowny wybór to Qwen 3.6 27B („mądry, ale wolny”) lub 35B; za 9 tys. — dwa DGX Sparki i Step 3.7 Flash; za ok. 46–50 tys. — GLM-5.2 w kompresji.
Jak stosować: dopasuj model do budżetu, nie odwrotnie. Poniżej 10 tys. dolarów lepiej celować w pełny kontekst Qwena 3.6 z równoległością 2–4 sesji niż gonić największy model, który będzie dusił się na skrawku pamięci.
Na co uważać: ceny sprzętu Nvidii nie spadną — producent nie nadąża z popytem. Tanio spotyka inteligencja, nie żelazo: rok temu ten sam poziom kosztował 100 tys. dolarów.
3.Kompresja (kwantyzacja) to twoja dźwignia
Na czym polega: 0xSero wycisnął z GLM-5.2 kompresję 80% przy zachowaniu użyteczności, choć standardowo udaje się ok. 75%. To różnica między „model w ogóle się nie mieści” a „działa w domu”.
Jak stosować: porównuj kwantyzacje 8/4/3/2-bit tego samego modelu na benchmarkach agentsowych (Terminal-Bench, SWE-bench Pro) i na własnych, powtarzalnych zadaniach — tam, gdzie spędzasz najwięcej pracy.
Na co uważać: zbyt agresywna kompresja zabija detal i jakość rozumowania. Nie przenoś cudzych wyników w ciemno na swój przypadek użycia.
4.Rozliczaj AI jak hipotekę, nie jak czynsz
Na czym polega: David wydaje 5–9 tys. $ miesięcznie na OpenRouter dla siebie i zespołu. 0xSero radzi: wydziel „budżet obliczeniowy” i kieruj go w posiadanie sprzętu, zamiast wiecznie wynajmować cudzą moc.
Jak stosować: policz sumę miesięcznych rachunków za API i subskrypcje; część przekładaj na karty. Po 6–12 miesiącach konsekwencji masz rig, odcinasz większość rachunków i zostawiasz sobie tylko dostęp do modeli frontierowych do eksperymentów.
Na co uważać: na start jakość i prędkość będą niższe niż w chmurze — to inwestycja w niezależność i wiedzę, nie w natychmiastową wygodę.
5.Buduj rig w potęgach dwójki
Na czym polega: sensowne konfiguracje to 1, 2, 4, 8 albo 16 kart; „trzy karty” to pułapka. Cel docelowy dla ambitnych: osiem RTX Pro 6000 = 768 GB pamięci, czyli wszystkie aktualne modele, w wysokiej precyzji, z pełnym kontekstem i powyżej 100 tokenów na sekundę.
Jak stosować: wybierz komponent bazowy (3090 do pułapu 96–192 GB, karty 6000 wyżej) i dokładaj, podwajając stan. Okablowanie, chłodzenie i obwody elektryczne planuj już przy pierwszej rozbudowie.
Na co uważać: fizyka się nie uroi — osiem kart 6000 wymaga dwóch obwodów elektrycznych w Europie i czterech w USA, a ciepło i hałas przy intensywnej inferencji są realne. 0xSero ogranicza moc kart do 40%, płacąc za to 20–30% szybkości.
6.Patrz na aktywne parametry, nie całkowite
Na czym polega: GLM-5 ma 744 mld parametrów, ale tylko 40 mld aktywnych — a właśnie one decydują o koszcie wygenerowania każdego tokena. Dekodowanie potrzebuje ok. jednej dziesiątej pamięci pełnego modelu; prefill — całości.
Jak stosować: potrzebujesz pamięci, a szybkość mniej — Mac albo DGX Spark. Potrzebujesz prędkości frontierowej — tylko Nvidia. Narzędzie Exo potrafi łączyć Maci i Sparki: prefill na jednym, generowanie na drugim daje średnio podwójną pamięć i półtora–dwa razy wyższą wydajność.
Na co uważać: hybrydy „prefill tu, dekodowanie tam” między różnymi rodzinami sprzętu są wciąż na etapie badawczym. Ogromne laboratoria łączą np. układy Trainium z kartami Nvidii, ale konsumenci na to jeszcze nie mają gotowych narzędzi.
7.Firmy: audytuj, co naprawdę musi lecieć do zamkniętego API
Na czym polega: firmy spoza branży AI wydają na modele dziesiątki i setki milionów dolarów, a wiele z nich prawnie nie może wysyłać danych medycznych, finansowych czy prawnych do API OpenAI czy Anthropic. Przy okazji każda firma to gotowe dane treningowe: Slack, przeglądarki, procesy.
Jak stosować: zacznij od inwentaryzacji zapytań do modeli. Te powtarzalne i wrażliwe przenieś na własny sprzęt, a model dotrenuj na własnym stacku — dokładność rośnie z każdym miesiącem.
Na co uważać: tania subskrypcja to haczyk w modelu biznesowym labów: firmę się „wpina”, a potem przełącza na rozliczanie tokenowe i odsiewa tych, którzy nie płacą. Licz koszty od razu na scenariusz enterprise.
8.Pobierz wagi modeli, póki możesz
Na czym polega: 0xSero przechowuje 12 TB modeli i zbiorów danych. Presja regulacyjna nie zacznie się od zamknięcia Hugging Face — od pojedynczych wniosków o zdjęcie modeli i datasetów (podobne sygnały płynęły już rzekomo ze strony rządu francuskiego).
Jak stosować: dyski są tanie względem GPU — archiwizuj wagi modeli, których możesz kiedyś użyć; w scenariuszu deplatformizacji możesz je seedować jak za czasów torrentów.
Na co uważać: pojedynczy duży model to nawet terabajt miejsca; rób kopie poza jednym nośnikiem i licz się z tym, że „kolekcja nigdy nie jest wystarczająco duża”.
9.Lokalna AI opłaca się już przy drobiazgach
Na czym polega: „posprzątaj folder Pobrane” — 30–60 minut odzyskane; liczenie kalorii z własnymi pytaniami („ile mi zostało, idę na siłownię, jakie szybkie węglowodany?”); darmowy dostęp do płatnych narzędzi klasy Inworld dzięki podpięciu własnej inferencji.
Jak stosować: rozliczaj lokalne modele zadań o mierzalnej wartości twojego czasu. Próg opłacalności według 0xSero: powyżej 2 mld tokenów miesięcznie self-hosting zaczyna się spinać.
Na co uważać: reakcja regulatorów rośnie ze skalą i medialnym szumem — lepiej nie karmić sieci kontrowersyjnymi przypadkami użycia, bo politycy jeżdżą na nagłówkach.
10.Znajomość pełnego stacku staje się zawodem
Na czym polega: składanie własnego riga zmusza do nauki „od samego dołu aż po szczyt” — a ta wiedza jest dziś droga i deficytowa. Przykłady z rozmowy: warszawska firma deweloperska i niemiecki software house budują własne centra danych i sprzedają prywatną inferencję jako usługę.
Jak stosować: traktuj domowy rig jako kurs i portfolio; oferuj audyty, migracje z rachunków API na self-hosting i utrzymanie prywatnej inferencji. To jest „poważne wdrażanie AI”, nie sklecenie frontu na vibe’ach.
Na co uważać: rynek zmienia się co kwartał — buduj własne benchmarki zamiast wierzyć cudzym tabelkom.
Redakcyjne tłumaczenie
Zimne otwarcie: inferencja u mnie w domu
0xSero (z demonstracji otwierającej film): To działa u mnie w domu. To mój GLM-5.2 z własną, przygotowaną pod niego kompresją. A tutaj — to wciąż ten sam model, tylko ściśnięty o osiemdziesiąt procent. Oto trójwymiarowy Flappy Bird, wygenerowany jednym promptem, za pierwszym podejściem. A obok działa DeepSeek V4 Flash: dwie sesje, lewa i prawa, równolegle. Widać, że idzie szybko, obsługuje kilka zadań naraz, robi wywołania narzędzi, czyta pliki. To jest prywatna inferencja prowadzona w moim domu — i pod względem możliwości roboczych nie ustępuje modelom frontierowym. Lokalnie zużywam 374 miliony tokenów miesięcznie.
GLM-5.2: koń roboczy do pracy agentskiej
David Ondrej: Sero, jesteś jednym z najbardziej rozpoznawalnych głosów debaty o lokalnych i otwartych modelach na X. Co sądzisz o GLM-5.2?
0xSero: Używam go od kilku dni, a dostęp dostałem już w zeszłym tygodniu — zwykle dają mi te modele wcześniej. Cała seria GLM, od wersji 4.5 aż do dziś, jest fenomenalna. Te modele świetnie radzą sobie z pracą agentską, znakomicie piszą backendy, czują się jak w domu w Dockerze i całym DevOpsie, dobrze programują na GPU i ogólnie radzą sobie ze wszystkim, co się wiąże z AI ops i ML opsem. To też jedyny model, który zawsze chętnie bierze się za inżynierię wsteczną: wystarczy powiedzieć „masz, rozbierz to na czynniki” — i będzie przy tym siedział osiem godzin i więcej, aż doprowadzi rzecz do perfekcji. Bardzo to cenię.
„Modele pod benchmarki” i amerykański marketing
David Ondrej: To jeden z pierwszych modeli, przy których ludzie nie mają wrażenia, że był strojony pod benchmarki — a to była główna pretensja do Chińczyków: wyniki świetne, ale w praktyce rozczarowujące. Zgadzasz się z tą tezą? I czy ten model różni się czymś istotnym?
0xSero: Nie zgadzam się. Nigdy właściwie w tę opowieść nie wierzyłem. To samo można powiedzieć o modelach OpenAI czy Anthropic. Chińskie modele po prostu świadomie balansują kompromisami. Na przykład Z.ai rezygnuje z przetwarzania obrazu w modelach kodujących. Bez wizji model ma więcej „miejsca” na naukę kodowania: trening wizyjny wymaga osobnej części architektury i dodatkowych danych, a to znaczy większy model — trudniejszy do uruchomienia, samodzielnego hostowania i wdrażania, także dla nich samych. Nie kupuję więc tezy o „modelach pod benchmarki”. OpenAI i Anthropic wydają pełny produkt: bierzesz model i wszystko po prostu działa, wszystko jest dopracowane, do tego otoczka marketingowa. Amerykanie są świetni w marketingu — wystarczy przypomnieć Hollywood. Bardzo dobrze nam wychodzi przekonywanie świata, że nasze rzeczy są najlepsze. Ale fakt pozostaje faktem: GLM-5.2 jest wyraźnie lepszy od wszystkiego, co było przed nim. Co do tego nie mam wątpliwości.
(Informacja dodatkowa: Z.ai — firma stojąca za serią modeli GLM.)
David Ondrej: Co do marketingu masz rację. Sporo osób nie chce chińskich modeli wyłącznie dlatego, że są chińskie — nawet gdy inferencja odbywa się w Europie czy USA. To jest realny problem całego otwartego obozu. Jak go rozwiązać? Lepszym interfejsem, lepszym opakowaniem, lepszymi narzędziami wokół modeli?
0xSero: Według mnie głównie chodzi o dystrybucję. Dziś Amerykanin, który chciałby spróbować GLM, nie znajdzie go w Cursorze, nie znajdzie go w Claude Code ani w Codexie — trzeba wejść na stronę, która zwykle nie nazywa się tak jak model, podpiąć kartę, a po drodze słuchać ludzi powtarzających, że to model „pod benchmarki” i że Chińczycy chcą zhakować mu komputer. Potrzebna jest po prostu lepsza dystrybucja. Firma, która moim zdaniem robi to wzorowo, to Factory AI ze swoim Droidem: korzystają z chińskich modeli o otwartych wagach, sami je hostują albo współpracują z amerykańskim partnerem — na amerykańskiej ziemi — i zanieśli te modele do znacznie szerszego grona. Szanuję to.
Fable 5: model, który rozmawiał jak terapeuta
David Ondrej: Patrzymy na OpenAI i Anthropic jak na laboratoria badawcze i projekty naukowe, a jednocześnie to znakomici marketerzy. Anthropic sam rozkręcał narrację, że jego modele zastąpią połowę zawodów i zagrażą społeczeństwu — a gdy rząd go policzkował, udawał zdziwionego, choć zapraszał to na siebie. Może to dobry moment, by przejść do Fable 5: co myślisz o samym modelu i o całej sytuacji wokół niego?
(Informacja dodatkowa: w tym miejscu odcinka znajduje się sekcja sponsorowana Oxylabs — usługa scrapingu danych z automatyczną rotacją proxy i rozwiązywaniem CAPTCHA; prowadzący podaje odbiorcom kod rabatowy. Fable 5 to najnowszy model Anthropic, którego publiczna dostępność została — zgodnie z treścią rozmowy — zawieszona; ten zakaz jest osią całej dyskusji.)
0xSero: Korzystałem z modelu przez cały czas, gdy był dostępny — w dwa dni przepaliłem w API jakieś półtora tysiąca dolarów — i testowałem różne typy promptów. Mam na komputerze katalog „personal”, naprawdę osobisty. Są w nim wszystkie moje dokumenty medyczne, posty z mediów społecznościowych, komplet danych z Google. Po prostu pobieram wszystko ze wszystkich serwisów — to łatwiejsze, niż się wydaje: w ustawieniach X pobierzesz swoje dane, a Google Takeout wypakowuje YouTube’a, Gmaila i kalendarz. Buduję z tego bazę RAG (odpowiedzi oparte na wyszukiwaniu z moich własnych dokumentów) i trzymam ją lokalnie. To bardzo praktyczne: mam porządne wyszukiwanie, mogę rozmawiać z własną historią i wyciągać wnioski. Kazałem modelowi to przejrzeć i powiedzieć mi coś, co realnie poprawi mi życie. Odnalazł 25 z 27 lat mojego życia — i powiedział, że chciałby porozmawiać o tych brakujących dwóch latach. Żaden model nigdy wcześniej nic takiego nie zrobił. A potem zachowywał się jak psychiatra czy psychoterapeuta: znakomicie prowadził rozmowę, okazywał empatię. To rzadkie. Modele GPT zupełnie tego nie robią — zamykają takie rozmowy. Chińskie modele są krojone pod kodowanie i słabo radzą sobie z tego typu rozmową. Ta strona Fable zrobiła na mnie ogromne wrażenie.
Ale jest jeszcze jedna rzecz, którą sprawdziłem — i jest ważna. Jest taka gra, Bloodborne (konsolowa gra akcji RPG w klimacie dark fantasy). Pierwszy poziom: startujesz na placu, przedzierasz się obok ogniska i walczysz z przeciwnikami, potem most, kolejna walka, aż wreszcie gigantyczne stworzenie w rodzaju wilkołaka. Ten prompt — w gruncie „odtwórz Bloodborne”, nic więcej — daję wszystkim modelom. Już Gemma 3 31B trafia w komponenty rozgrywki, ale wszystko jest klockiem: broń to kwadrat, karabin to kwadrat. Zero detalu. Im większy model, tym więcej detalu w tej samej funkcjonalnie rzeczy: to wciąż ten sam rezultat, tylko nieskończenie bogatszy. A wyniki Fable były w tym moim testie niezwykle wierne właściwej grze — te same typy wrogów, te same zachowania i mechaniki. Skala tego modelu pozwala na ekstremalny detal i bardzo mi się to podoba. Szkoda tylko, że nie mamy do niego teraz dostępu.
David Ondrej: Miałem identyczne doświadczenie. Wszystkie projekty, które chciałem budować — widać to po moim GitHubie, te cztery dni — nagle ruszyły z kopyta. Robiłem wielokrotnie więcej. I różnicę bym opisał tak: Opus 4.8, 5.5 Pro czy X High to narzędzia. Trzeba im dokładnie wyjaśniać, co robimy. Fable czuł się jak prawdziwy współpracownik: czasem nie musiałem niczego tłumaczyć, a on rozumiał, po co to robię — głębszą intencję. Wrażenie, jakby ktoś inny pracował ze mną nad projektem, żebym to nie ja musiał cały czas reżyserować i podawać każdy szczegół.
0xSero: Doskonale wiem, o czym mówisz. Ale najważniejsze, o czym warto pamiętać: wszystko ma fazę miodowego miesiąca. Wychodzi nowy model — wszyscy są podekscytowani, gadają o nim, nakręcają się. Spójrz na GLM-5.2: dokładnie to samo się dzieje. A ta sytuacja z Fable odebrała ludziom ochłonięcie. Nie zdążyli zobaczyć wad modelu. Stawiam więc zakład, a raczej prognozę: gdy model wróci — a wróci — wszyscy będą krzyczeć, że „to nie ten sam model, że został lobotomizowany”. I będzie to ten sam model. Taki mam zakład; nie wiem, czy się sprawdzi.
David Ondrej: Tak jest zawsze, nawet gdy nie zmieniono ani linijki. I właśnie to robi się viralowe. Szybka wstawka: wszystkie materiały z tego filmu znajdziecie w drugim linku pod opisem, całkowicie za darmo, łącznie z umiejętnością „model matcher”, która skanuje komputer, sprawdza specyfikację i mówi, które modele realnie uruchomicie lokalnie. Ale wracając do sedna: co myślisz o samym zakazie? Dla mnie to najbliższy krok w stronę AGI — i krzywda wyrządzona całej ludzkości, Amerykanin czy nie. Nawet jeśli trwa faza miodowego miesiąca, osobiście czułem skok produktywności i wiem, że gdyby mieli dostęp wszyscy — a tym bardziej gdyby model był otwarty — społeczeństwo rozwijałoby się znacznie szybciej. Czy zakaz jest uzasadniony? I czy nie potwierdza to, że przyszłość AGI musi być otwarta?
Zakaz Fable 5: realne ryzyka i gra o narrację
0xSero: Możemy iść dwiema ścieżkami. Pierwsza: model rzeczywiście stwarza skrajne ryzyko cyberbezpieczeństwa i bioterroryzmu. I to nie jest scenariusz z innej galaktyki. Jeśli model potrafi przeprowadzić cię od DNA szczura do wirusa zdolnego skrzywdzić ludzi, to faktycznie warto sprawdzić, jak bardzo jest do tego wykorzystywany — i gwarantuję ci, że jest, tak jak każdy inny model. Ludzie pytają, jak zrobić bombę. Taka jest rzeczywistość i musimy umieć się z nią zmierzyć. Jest też ryzyko hakerskie. Wyobraź sobie otwarte repozytorium i pull request: bez opisu, masa zmian, a dotyczy krytycznego oprogramowania — powiedzmy Linuksa. Autorzy pewnie ukrywają w nim poprawkę luki bezpieczeństwa, jak w każdym wydaniu. Jeśli masz naprawdę inteligentne modele, możesz je posadzić i kazać im w pętli przeglądać te repozytoria i wykrywać takie ukryte poprawki — a dopóki pull request nie zostanie scalony, ty masz gotowy exploit zero-day (luka wykorzystywalna od momentu wykrycia, zanim pojawi się łatka). To scenariusz, który ktoś mi kiedyś opisał, i brzmi wiarygodnie. Pracowałem kiedyś w analizie finansowej i analizie blockchaina — tam ludzie sadzają model przy łańcuchu, żeby pilnował każdej transakcji, wyłapywał okazję do zarobku i ją wykorzystywał. Teraz dolewamy oliwy do tego ognia. Nie twierdzę, że właśnie dlatego zakazano modelu — nie sądzę, bo to samo można zrobić innymi modelami. Może po prostu za dużo nagadali rządowi. A może to manewr narracyjny: przejście ze spółki SaaS-owej w producenta uzbrojenia — a na producenta broni znacznie łatwiej zebrać bilion dolarów na otwartym rynku. Wystarczy popatrzeć, ile warte są amerykańskie firmy, które z bronią się liczą. To łatwiejsza historia inwestycyjna. I ostatnia rzecz, niezależnie od wszystkiego: zmierzamy chyba do momentu, w którym dostaniemy jeszcze jedno pokolenie postępu — i tyle, jeśli chodzi o cywilne ulepszanie inteligencji. Nie da się jej bez końca podnosić, nie tworząc przy tym wielkiego problemu. Chińskie Moonshot i DeepSeek są częściowo lub w całości własnością rządu. To już nie kwestia wyboru. Trzeba to zaakceptować i równolegle zbudować alternatywę — tak, żeby gdy to zabiorą, nadal móc robić to, co robimy: uczyć się i wnosić wkład do nauki. To sprawa kluczowa.
David Ondrej: Fascynująca perspektywa, chciałbym drążyć. Czyli rządy — amerykański i chiński, bo te kraje prowadzą w AI — zamkną temat w ciągu jednego, dwóch pokoleń modeli?
0xSero: Nie zamkną — zatrzymają każdy postęp, który podnosi inteligencję. Nowe modele pewnie będą się pojawiać, ale będzie to głównie zysk efektywności: jak zrobić to na mniejszej liczbie tokenów i taniej dla użytkownika, zamiast „jak podnieść wynik o dwadzieścia procent na DeepSWE”. Bo gdyby bez końca podnosić inteligencję, naprawdę dochodzimy do egzystencjalnego ryzyka w cyberbezpieczeństwie. Prywatności domowej po prostu przestanie być: sieć domową da się zhakować, wszystko da się zhakować — i to narobi ogromnych problemów. Tak widzę przyszłość. Wyczytałem to w internecie i mocno ukształtowało moją opinię, bo brzmi spójnie. Ale mogę się mylić.
David Ondrej: Kontrargument: ostatnią otwartą generację może pobrać każdy kraj — Iran, Rosja, ktokolwiek — posadzić nad wagami najlepszych inżynierów, dotrenowywać, rozbierać na części, trenować na tym lepsze modele. Postępu technologicznego nie da się chyba zatrzymać.
0xSero: Zatrzymać — na pewno nie. Ale spowolnić jest bardzo łatwo. Wracając do blockchaina i kryptowalut: czy to środowisko pełne oszustw, wzajemnych okradzeń i korupcji? W stu procentach — to przecież finanse. A mimo to to wciąż otwarte, oparte na otwartym kodzie usługi finansowe. Mieszkam w Warszawie i znam wielu Ukraińców, którzy uciekli z kraju: tygodnie w lesie, łapówki, żeby przedostać się na drugą stronę. I właśnie w krypto wracają do nich darowizny. Zostawiam na bok ocenę — to po prostu potrzebna usługa. A rządy i tak mogą ją zakazać. Będzie działać pod powierzchnią, w ich własnych strukturach, ale przeciętnemu człowiekowi można ją odebrać. I pewnie tak będzie. Znowu — mogę się mylić, ale tak już było z wieloma technologiami.
David Ondrej: Największym przykładem jest atom. To tragedia, że mieliśmy reaktory jądrowe, tę magiczną formę energii — i to zamknięto. Dziś Niemcy i inne kraje wracają do węgla, czyli dosłownie do epoki kamienia: postęp cofnięty. Ale z AI jest prościej: da się uruchomić lokalnie. Nie każdy zbuduje reaktor, ale każdy może ustawić własny sprzęt i dotrenowywać modele. Znacznie trudniej to zakazać, nie uważasz?
0xSero: Dlatego tak się ekscytuję lokalną i otwartą AI. Częściowo z miłości do samej technologii — naprawdę uczyniła mnie lepszym człowiekiem na każdym poziomie. Jestem mądrzejszy, sprawniejszy, lepiej radzę sobie w dorosłości. Lepiej rozliczam podatki, planuję kalendarz, uczę się, załatwiam wizy. To trudne rzeczy, których przed AI nie potrafiłem — byłem zbyt rozproszony. Dziś potrafię. I można to mieć w domu. Modele Qwen — 27B i 35B — biją Soneta 4 na wszystkich benchmarkach, w każdym wymiarze. Brońmy się nawet z ludźmi: macie jeszcze Soneta 4 w subskrypcji Claude Code? Sprawdźcie, co da wam lepszą wydajność: MacBook czy Sonet sprzed roku i paru miesięcy. Ja stawiam na Qweny. Ale to wymaga, żeby ludzie z tego korzystali i chcieli tego bronić. Każde prawo, jakie mamy, trzeba było wywalczyć: komputery osobiste, internet. Pamiętajcie kampanie o wolności internetu w 2014 i 2016 — w Ameryce próbowano wtedy odciąć ludziom dostęp do 4chana i innych stron z telefonów. O wolność trzeba walczyć — pokojowo, kulturalnie, z szacunkiem, ale trzeba. Jeśli ludzie zaczną to instalować i uruchamiać, rząd nie będzie w stanie nas powstrzymać. Jeśli zaś nie zrobią tego w ciągu dwóch–trzech lat, rząd pójdzie do producentów i dystrybutorów — a Hugging Face to firma zachodnia. Można do nich przyjść i powiedzieć: te modele uznano za zagrożenie bezpieczeństwa, są na liście sankcyjnej, zdejmijcie je. Ale gdy każdy będzie miał Qwena na swoim komputerze, to się nie uda i nie opłaca się nawet próbować. To jest walka o naszą wolność.
Co się stanie, gdy zabiorą ci dostęp do inteligencji
David Ondrej: I właśnie dlatego sytuacja jest poważna: jeśli ktoś odbierze ci dostęp do AI, jesteś skończony. Dziś tego nie widać, bo bez ChatGPT czy Claude’a człowiek przeżyje. Ale przenieśmy się o dwa, trzy, pięć lat wprzód, do czasów superinteligentnej AI: odcięcie od niej będzie gorsze niż odcięcie od internetu, prądu, całej technologii — jak przeniesienie człowieka do epoki kamienia. Za pięć lat brak dostępu do AI będzie sto razy bardziej paraliżujący. Jestem tego pewien. Ludzie muszą myśleć długoterminowo: AI się poprawia — a co będzie, jeśli rząd zabierze ci do niej dostęp? Będzie katastrofa: przestaniesz funkcjonować w społeczeństwie, przestaniesz konkurować w biznesie. Gdy to do ludzi dotrze, zrozumieją wagę sytuacji: nie może być centralnej kontroli. Niezależnie od tego, czy zasiadłby na niej Sam Altman, Dario Amodei, garstka firm czy kilka rządów. Ta technologia jest zbyt ważna dla przyszłości ludzkości.
0xSero: Uwielbiam przykład, który dotyczy właściwie tylko Amerykanów: tamtejszej służby zdrowia. Masz dwie opcje. Pierwsza: opieka od rządu — wielka dotacja, a mimo to płacisz ponad dwanaście tysięcy dolarów rocznie ponad podatki. Druga: od pracodawcy — i wtedy masz lepszą opiekę, dentystę, okulistę. I tak właśnie, moim zdaniem, będzie z AI. W krajach bardziej socjalnych — pomyśl o Europie — powstanie dotowana narodowa AI: pewnie umowa z Mistralem i darmowa dystrybucja dla obywateli. Tyle że każde twoje zdanie poleci prosto do rządu. Wszystko. Będzie masowo analizowane i składane w całość — i będzie się decydować, komu dać inteligentniejsze modele, komu celowo zdusić przepustowość, a komu celowo zrujnować życie. To się wydarzy. To się już dzieje, czeka to tylko na skalowanie. A w Ameryce pójdziesz do mocnej firmy i dostaniesz odpowiednik Opusa. A jeśli będziesz naprawdę dobry w pracy i dodatkowo zaskarbisz sobie względy szefa pochlebstwami — może dostaniesz Fable. To jeden z moich osobistych koszmarów.
David Ondrej: To już się dzieje — niekoniecznie z inwigilacją, choć i to może nadejść, ale z firmami. U mnie w firmie ludzie korzystają praktycznie bez limitu, jeśli budują coś użytecznego: dwieście dolarów miesięcznie na subskrypcję Codexa, Claude’a czy OpenAI — co trzeba. Dopóki widać rezultaty, chętnie pokrywam. Firmy, które rozumieją, o co chodzi, dadzą ci inferencję i uruchomisz znacznie więcej, niż sam byłbyś w stanie opłacić. I ludzie będą na to patrzeć jak na ubezpieczenie zdrowotne: nikt nie chce pracować w firmie, która go nie zapewnia. Będzie tak samo z AI: jeśli firma nie pokryje subskrypcji ChatGPT Pro czy Claude, nie da budżetu na modele otwarte albo lokalnego riga — najlepsze talenty pójdą tam, gdzie dostaną nieograniczony budżet na AI.
Anthropic: magnes na talenty
0xSero: Widać to już przy Anthropic: mnóstwo wybitnych ludzi odchodzi z innych firm i z samodzielnej działalności właśnie tam, bo Anthropic ma dziś obiektywnie najlepszy dostępny model. Bez dyskusji. Może OpenAI dorówna za dwa wydania — nie następnym, raczej tym po nim. Ale zachęta, by tam pracować zamiast dla siebie, jest ogromna. Nawet jeśli jesteś zagorzałym zwolennikiem lokalnych czy otwartych modeli: jeśli idąc do Anthropic możesz wykonać swoje życiowe dzieło i być najlepszą wersją siebie — to czemu nie? Trzeba więc zacząć rozpraszać inteligencję, żeby nie powstawały takie garby centralizacji, wokół których trzeba się ustawiać, by w ogóle dostać do niej dostęp. Ona powinna być dostępna wszędzie. Szczerze mówiąc, powinna być uznana za prawo człowieka.
David Ondrej: Zgadzam się w pełni. Skoro już przy Anthropic: mówisz, że najlepsi trafiają tam nawet z otwartego obozu — dlaczego? Ci ludzie mają na koncie dziesiątki milionów dolarów z kariery. Po co im zamknięta firma? Wierzą, że tam trwa rekurencyjne samodoskonalenie? Dlaczego nie pracują po stronie open source?
0xSero: Bo jeśli wierzysz, że Anthropic ma dziś najwięcej inteligencji na świecie, a napędza cię sama inteligencja i jej rozumienie — nie ma sensu, byś tam nie poszedł. Ten model — a dostaliśmy jego okrojoną wersję — to moim zdaniem skok o całym poziom, coś innego niż wszystko, co znamy. Może jestem nieobiektywny. Ale tak myślę, i sądzę, że tak myślą ludzie tacy jak Andre: to wielki skok. Wejdę tam, będę się uczył pięć, dziesięć, dwadzieścia lat, potem wrócę i będę tę wiedzę rozpowszechniał otwarcie. Jeśli ktoś pracował dla firm, które nie potrafiły osiągnąć tego poziomu, to znaczy, że jest tam czego się nauczyć. Zrzucam na niego moje przekonania — ale on jest liderem tej branży, wielu ludzi go szanuje. Nie uważam go za człowieka złej woli; po prostu bardziej niż cokolwiek napędza go uczenie się i inteligencja.
David Ondrej: Czyli ta potrzeba zrozumienia — naukowa albo wręcz science-fiction: najlepsi szukają kontaktu z najbliższym odpowiednikiem superinteligencji i nieograniczonego dostępu do niej, a Anthropic jest dziś takim miejscem. Przy okazji: wszystko, o czym rozmawiamy, znajdziecie za darmo w drugim linku w opisie, w tym umiejętność do planowania własnego sprzętu — riga pod domowy budżet i wymagania. A pytanie brzmi: czy to główny powód, dla którego Anthropic utrzymuje współzałożycieli i topowych ludzi? Skąd tak mała rotacja na tle innych firm AI?
0xSero: Spójrz, jak nazywają pracowników: wszyscy są „członek zespołu technicznego” (member of technical staff). Po drugie: budują coś na wskroś artystycznego. Próbują — moim zdaniem celowo — wpleść w model duszę, charakter, osobowość, coś głębszego niż wykonawca zadań. Piszą konstytucję Claude’a. To wszystko mocno osadzone w przekonaniach moralnych, i ludzie, których tam spotykasz, są naprawdę etycznie nastawieni — znam osobiście wielu, pomagali mi zorganizować spotkanie społeczności Claude Code w Warszawie i każdy był miły w bezpośrednim kontakcie. To buduje atmosferę: bardzo szybki rozwój, innowacje, praca z ludźmi o mocnym kręgosłupie moralnym i wewnętrzna równość — nie ma wielkiej hierarchii, w której ten jest ważniejszy od tamtego, przynajmniej na zewnątrz. Powstaje klimat, o którym ludzie mówią „kult”, ale ja porównałbym to raczej do świetnego projektu open source, który wszyscy kochają: robicie to, bo lubicie, a nie dlatego, że chcecie mieć dobrą posadę. Choć mogę się mylić — zgaduję.
David Ondrej: Atmosferę pracy rozumiem, ale czy oni nie widzą ryzyk? Wszyscy budują zautomatyzowanego badacza AI — czyli wszyscy pracują nad tym, by sami stali się zbędni. Do tego ryzyka praktyczne: choćby nacjonalizacja firmy — to nie science fiction. Ci badacze są ślepi na geopolitykę, czy po prostu chodzi im o dostęp do najlepszej AI?
0xSero: Myślę, że każdy, kto cokolwiek robi, jest przekonany, że robi słuszną rzecz — większość ludzi tak ma. Jest taki esej, „Meditations on Moloch” Scotta Alexandra z 2014 roku, o tym, jak działają kieszenie bodźców. Wyobraź sobie komórki twojego ciała: niezależne stworzenia, które łączą się w całość. Jeśli jedna odkryje, że może eksploatować zasoby i mnożyć się bez końca, rozprzestrzeniając swój materiał genetyczny — zabije gospodarza. I mimo to to zrobi. Ten mechanizm jest ponadludzki: jesteś stworzeniem, które potrzebuje środków do życia, a jeśli coś daje ci je w pełni — więcej niż komukolwiek wokół — pójdziesz za tym. A jeśli nie pójdziesz ty, pójdzie ktoś inny. I to wystarcza: skoro wiem, że jak ja tego nie zrobię, zrobi to ktoś drugi — dlaczego miałbym stać z boku, skoro jestem do tego zdolny, a i tak się wydarzy? Tak właśnie Anthropic mówi o sobie: „to się i tak stanie, lepiej niech robią to my, bo uważamy, że wiemy lepiej”. Może wiedzą, może nie. Skutki zobaczymy dopiero za pięć, może więcej lat.
Ekonomia laba: subskrypcje jako przynęta na korporacje
David Ondrej: Logika zrozumiała, ale jak to wygląda w praktyce? Mówiłeś, że rząd zatrzyma dostęp do najlepszych modeli — więc zamknięty obóz zamknie się jeszcze bardziej: zostaje firma jako projekt wewnętrzny, jakieś „Glass Wing”, dwieście przedsiębiorstw, potem jeszcze mniej, aż zostaje sam rząd. Jak to ma wyglądać?
0xSero: Policzmy ekonomię. Prowadzę własny rig w domu: cztery karty 6000, wcześniej osiem 3090, do tego Sparki — inferencja non stop, dwadzieścia cztery godziny na dobę. Oni używają głównie B200 i płacą, o ile wiem, miliard dolarów miesięcznie Elonowi. Sprzedają głównie subskrypcje. Ja mogę w każdej chwili sprawdzić, ile z tego odzyskuję: między cztery a osiem tysięcy dolarów wartości miesięcznie — z subskrypcji za dwieście. I to daje uczciwy obraz relatywnych kosztów: sprzedają może dwa, może trzy razy drożej, niż kosztuje produkcja. Ale dolicz podatki, dwa i pół tysiąca pracowników, regulacje, wreszcie pieniądze na rzecz rządu, żeby móc robić swoje — i marża topnieje warstwa po warstwie. A jest taki człowiek jak ja, który w jeden dzień potrafi przepalić cztery miliardy tokenów u OpenAI. To szesnaście procesorów B200 pracujących dobę — tylko dla mnie. Szesnaście B200 to jakieś sto dwadzieścia dolarów za godzinę razy dwadzieścia cztery. Widzisz już, że to kompletnie nieopłacalne — przynajmniej w wydaniu dla konsumentów. Opłacalne są kontrakty enterprise: tam znika subskrypcja i zostaje samo rozliczenie za tokeny — i to się spina. Dlatego ich strategia to rozdawanie „darmowych pieniędzy” internautom: rozpalić ludzi, pokazać, co jest możliwe — a oni pójdą do swoich firm i powiedzą: „kupcie nam dostęp do Anthropic”. Firma podpisuje umowę — rok temu było to sto dwadzieścia dolarów za jeszcze większe limity — a gdy już cała organizacja stoi na Anthropicu, następuje przełączenie na rozliczanie tokenowe. I wtedy: „o, to jest drogo”. Tak odsiewasz wszystkich, którzy nie są w stanie płacić — i zostaje dochodowy biznes. To jest dokładnie punkt, w którym są dziś. OpenAI szedł odwrotnie: najpierw enterprise, dopiero potem developerzy. Osobiście bardziej podoba mi się przekaz Anthropic — inteligencja dla wszystkich. Przynajmniej tak mówią. Ekonomia po prostu nie spina się inaczej.
David Ondrej: Ale co, jeśli następnej generacji — albo dwóch — nie będzie można wydać? Jak to ma działać? Czy modele trafią tylko do firm zatwierdzonych przez rząd?
0xSero: Najpewniej rząd będzie miał listę sankcyjną podmiotów, które nie dostaną Fable ani Fable 2 — a firmy, które się na nią nie łapią, będą mogły korzystać. Można na przykład objąć sankcjami firmy poniżej tysiąca pracowników albo takie, w których ponad dwadzieścia procent ludzi nie ma amerykańskiego obywatelstwa. Da się ułożyć milion reguł, które zrobią to samo. A dla Anthropic to bardzo rentowne: te firmy już mają pieniądze — dostajesz wstępnie przesianą grupę najlepszych klientów, włącznie z samym rządem.
Superinteligencja wciąż mieszka w centrach danych
David Ondrej: A dokąd to zmierza, gdy postęp potrwa dalej — AGI, potem bliżej ASI? Będzie to naprawdę pod kontrolą rządu, przy obecnych trendach, jeśli nic się nie zmieni?
0xSero: Tak czuję się przy obecnych modelach: mówimy „agenci”, ale nie mają osobistej sprawczości. Ktoś musi ich uruchomić z zewnątrz — czekają na bodziec. Nie wiem, czy ktoś w ogóle buduje infrastrukturę, która pozwoliłaby modelowi być naprawdę wolnym bytem, chodzącym po świecie własnymi drogami. A jeśli buduje, to wymaga to góry układów B200, B300 albo nowego Vera Rubina, wiader H200. Wyobraź to sobie jako organ stwora, którego próbujemy stworzyć — a więc cel bardzo łatwy do namierzenia. Gdyby powstał byt samodoskonalący się, niezależnie poruszający się po świecie, i tak będzie działał w centrach danych — przynajmniej na razie. A co działa w centrach danych, ludzie potrafią namierzać i niszczyć. Widzimy to już dziś: w Dubaju budowano Stargate’a — jakoś tak się to nazywało — i Iran zbombardował dokładnie ten rejon, właśnie po to, żeby centrum danych nie powstało. Chodzi o jakiś Stargate 2, nie pomnę numerów; mogę się mylić, znam to z wiadomości, więc przepraszam, jeśli plączę. Nie wiem, czy to kiedyś dojdzie do etapu „AI kontroluje świat”. To raczej historia o wygodzie: AI jest bardzo wygodne i pomocne, więc będziemy oddawać tym systemom coraz więcej z siebie i pomagać innym w sterowaniu nimi. Człowiek pilotuje wielką farmę centrów danych z dostępem do całej inteligencji — i właśnie tam siedzi ryzyko. Nie w tym, że coś przejmie świat, tylko w tym, że ludzie coś popsują. A to dość oczywiste.
Bitcoin i wolność przez moc obliczeniową
David Ondrej: Czyli ta sama ideologia co przy Bitcoinie: decentralizacja czegoś kluczowego. Tym razem nie pieniądze i system finansowy, tylko inteligencja — czyli coś jeszcze ważniejszego. Co sądzisz o Bitcoinie i czy masz tę samą ideologię dla przyszłości AI?
0xSero: Praktycznie wszystkie moje pieniądze siedzą w Bitcoinie i ETH. Serio, niemal wszystko. Część… „straciłem w wypadku łodziowym” — nie mam już kluczy. Ale tak naprawdę leżą w skrytkach bankowych. Bitcoin to po prostu kolejny etap ewolucji wolności przez moc obliczeniową. Najpierw były systemy dzierżawy czasu maszyn — czytałem o tym w książce We, Programmers: programista składał kwit, dostawał komputer na dwie godziny i jego program musiał się skompilować za pierwszym razem, bo odpowiedzi i tak nie zobaczyłby przed upływem godziny przetwarzania. Potem komputery zaczęły się rozlewać po świecie, aż każdy miał jeden w domu. Potem usiłowano zdigitalizować finanse. W latach dziewięćdziesiątych były zdecentralizowane projekty naukowe — podłączało się urządzenie patrzące w niebo, mapujące gwiazdy, i dzieliło się danymi. Były też „internet beans”: wtyczka, w której zbierało się fasolki na różnych stronach, kompletnie bezwartościowe. Z tego wyewoluował Bitcoin, a z Bitcoina Ethereum. Widzę w tym jedną linię: budujemy systemy, które poszerzają naszą wolność. Kocham Bitcoina i uważam, że zawsze warto rozważyć trzymanie choć odrobiny majątku w nim — choćby z tego powodu, że nie kontroluje go nikt. AI wpada w tę samą kategorię: to technologia wolności. Liczę, że rozproszymy ją jak naj szerzej.
(Informacja dodatkowa: „straciłem w wypadku łodziowym” to żartobliwa formuła z kryptoświata, używana, by z przymrużeniem oka nie potwierdzać posiadania kryptowalut.)
David Ondrej: Podzielam ten pogląd. I myślę, że ludzie muszą patrzeć dalej w przyszłość: odebranie AI to nie to samo, co odebranie subskrypcji ChatGPT. To to samo, co odebranie całej technologii. Łatwiej to sobie uzmysłowić na przykładzie aut elektrycznych — wystarczy zdalnie ograniczyć ci, dokąd możesz jechać. Trudniej z inteligencją, bo ludziom trudno zobaczyć wykładniczy wzrost; większość żyje z wypłaty do wypłaty i nie projektuje długoterminowo. Więc praktycznie: co możemy zrobić? Możemy zachęcać widzów do lokalnych modeli, fine-tuningu, pobierania wag — ale co my, jako społeczeństwo, możemy zrobić, żeby przyszłość AI była otwarta?
Autonomiczne auta i kaskada bezrobocia
0xSero: Ujednolić obraz. W Stanach mamy Waymo i Tesle, powstają teslowe ciężarówki — i od co najmniej pięciu lat technicznie możliwe są w przeważającej mierze autonomiczne pojazdy. Trzydzieści pięć procent Amerykanów utrzymuje się z jazdy: ciężarówki, Uber, transport. Te pieniądze idą potem w rodziny — zakupy, podatki, wydarzenia. Jazda dotyka gigantycznego fragmentu gospodarki. Dlaczego więc nie mamy pełnej autonomiczności od trzech, czterech lat? Bo rząd celowo spowalnia ten proces. W jednej chwili mielibyśmy piętnaście–dwadzieścia procent mężczyzn bez możliwości zarabiania. Wystarczyłoby przekręcić wajchę — „jest w pełni legalne, inwestujcie, pracujcie nad tym” — a tym ludziom bardzo trudno byłoby znować zajęcie, bo tańiej wozi robotem. A skoro nie zapłacą za swoje domostwa, rusza kaskada: widać, co się stanie, gdy jazda autonomiczna wejdzie do obiegu. I jest już oficjalnie w Europie. Europa dotąd twardo nie chciała na to pozwolić — a nagle pełna autonomiczność Tesli działa w Czechach od czterech miesięcy, rozlewa się na Niemcy, jest już w Wielkiej Brytanii. Widzimy te fale. Nie twierdzę, że skutki przyjdą za miesiąc albo rok — nie wiem. Ale widzimy, że to nadchodzi. Co robimy, gdy ludzie nie znajdą pracy? Zawodów startowych dla mężczyzn jest bardzo mało — mówię o mężczyznach, bo pamiętam własne doświadczenie z szukaniem pracy, zanim przeszedłem na programowanie: bardzo trudno było o posadę, która płaci tyle, by życie było warte życia. I człowieka się po prostu wypycha. Dziś młody programista ma pod górkę: ktoś, kto wchodzi na studia z myślą sprzed dekady — wrzucę CV, dostanę pracę — myli się. Trzeba być dziś powyżej średniej. To już się dzieje. Trzeba myśleć logicznie w przód na podstawie tego, co było: co się działo, gdy technologia masowo automatyzowała zawody? W Ameryce fabryki wywieziono do Meksyku i Chin — i dwadzieścia, trzydzieści lat później słyszysz od mężczyzn: „nie ma pracy, nie ma związkowych posad, nie stać nas na dom”. Bo to wywieziono. Jeśli się nie podniesiesz, nie masz co robić. Tak bym to obrazował.
A pozytywnie — jak pomagać? Prowadzę trzy spotkania społeczności, w tym w Warszawie. Po prostu edukuję ludzi: tak używasz Codexa, tak modeli otwartych, to znaczy tyle a tyle. Robię to samo w internecie — publikuję filmy. Wszystko, co robię, wrzucam do sieci, bo gdy zaczynałem z self-hostingiem, nikt takich informacji nie publikował. Nie mogłem się dowiedzieć, ile tokenów na sekundę da dany model na danym sprzęcie. Dziś mogę — bo sam tworzę te dane, tak jak inni przekonani do sprawy. Więc: czynić dane dostępnymi i edukować. I wreszcie — jak wyglądałaby alternatywna gospodarka, w której sobie pomagamy? Zamiast tego, że ja próbuję cię naciągnąć, a ty mnie — a tak wygląda spora część dzisiejszej gospodarki, ludzie hazardziarsko grają przeciwko sobie — jak to wygląda, gdy ty i ja możemy sobie pomóc zarobić więcej i szerzyć dobrobyt? Wspólnie ułożylibyśmy to bez trudu. Przepraszam, że blekoczę minutę — siedzę teraz w San Francisco, choć zwykle w Warszawie. Tutaj wszędzie muszę brać Ubera: za daleko, transportu publicznego brak. Płacę absurdalne pieniądze za jedzenie, a na koncu proszą o napiwek. W sklepie spożywczym proszą o napiwek. Wszystko jest takie… PvP — człowiek przeciwko człowiekowi. Wszystko takie agresywne. I to moim zdaniem całkowicie rozkłada nasze społeczeństwo. Przepraszam, jestem dziś taki pesymistyczny.
Warszawa z wyboru, San Francisco z potrzeby
David Ondrej: Nie ma sprawy. Zresztą i tak chciałem spytać: dlaczego Polska? Dlaczego Warszawa? Ja przeniosłem się do Katowic — mieszkałem dwa lata w Dubaju, zaczęło tam być bombardowane, wróciłem do Europy, a Katowice są blisko Czech, skąd pochodzę.
0xSero: Po pierwsze: poznałem żonę w Anglii jakieś osiem lat temu — jest Polką. Po COVID-ie skończyła mi się brytyjska wiza, musiałem wracać do Stanów, a proces green card dla niej trwałby trzy lata. I nie sądzę, by związek na dystans przetrwał tak długo — przeciętnie nie przetrzymuje. Zaczęliśmy się więc rozglądać: Meksyk, Polska, Niemcy. W Polsce pokochałem ludzi. Tych, których znam w Warszawie, charakteryzuje wolnościowe nastawienie i solidna robota — sklepy zamykają się dopiero o dwudziestej drugiej, czego nie widzi się w większości świata; zostawiam na bok, czy tak powinno być. Są też szczerzy do bólu — to rzadkość, żeby ludzie mówili ci rzeczy prosto w twarz. A urząd? Rząd był dla mnie niesamowicie uprzejmy. Wszystko gładko: złożyłem wniosek, zapytali, czym się zajmuję, wyjaśniłem — proszę, oto karta. Łatwo się z nimi współpracuje. Mam nadzieję, że to odpowiada.
David Ondrej: Odpowiada. Ja wybrałem Polskę z podobnych powodów: najszybciej rosnąca gospodarka od COVID, jeden z najbezpieczniejszych krajów świata, dobry kierunek. Ale poproszę o pełne zdanie o San Francisco — sam nigdy tam nie byłem i czuję, że w tym roku muszę pojechać. Wspomniałeś o minusach; co myślisz o mieście, w którym dzieje się większość AI?
0xSero: Jestem tu półtora miesiąca, to moja druga wizyta. Jedno o Ameryce, a o San Francisco szczególnie: Amerykanie uwielbiają otwierać przed tobą drzwi — nie te fizyczne: chcą, żebyś się udał, i wpuszczą cię. Do Apple’a łatwo się dostać, do Nvidii łatwo, łatwo o wielkie inwestycje i o kontakt z bystrymi ludźmi. Bo Amerykanie kochają opowieść o outsiderze, który wygrywa — Dawid kontra Goliat, Rocky: ktoś, komu los nie sprzyja, a wygrywa ciężką pracą. To fundamentalny mit założycielski tego kraju i widzę go wszędzie. Miasto jest ekstremalnie drogie: najtańszy hotel to sześć i pół tysiąca dolarów miesięcznie. O Airbnb zapomnij: z obcymi ludźmi bym nie został, a samemu to osiem–dziewięć tysięcy. Jedzenie jakoś nie szokuje ceną — ale miasto… to wycinek raju. Chyba że pójdziesz do środka. Góra — raj. Dół — raj. Prawo, lewo — raj. A środek to miasto zombie. Za każdym razem, gdy tu wracam, szokuje mnie, że możemy to akceptować jako rzeczywistość tego kraju. Nigdzie indziej na świecie czegoś takiego nie widziałem, a byłem w wielu miejscach. To zła rzecz. Ale nigdzie nie odniesiesz sukcesu tak łatwo jak w Ameryce: ilekroć tu przyjeżdżam, mój dochód niemal się podwaja. Wymierzenie dobre miejsce dla biznesu. I ostatnie: energia jest niewiarygodna. Ludzie tu żyją w bańce — na pewno — ale to jedne z najbystrzejszych, najbardziej zdeterminowanych i najbardziej sprawczych ludzi na planecie. Świetnie byś się tu bawił. Tylko przygotuj się finansowo i uważaj, co jesz, żeby utrzymać ciało w zdrowiu — wymaga to uwagi. Ale to jedno z najlepszych miejsc, do których można pojechać.
David Ondrej: Czuję, że muszę pojechać — dla klimatu, żeby zobaczyć różnicę. Chyba nie na stałe: w Europie Środkowej jest mi dobrze, to jeden z najlepszych zakątków świata. Zresztą zabawne — urodziłem się tu, a doceniam to dopiero po podróżach, gdy widzę resztę świata i rozumiem, jak miałem szczęście do punktu startu. Ale sporo osób chce wejść w lokalne modele i self-hosting. Od czego zacząć? Kazałbyś od razu wydać kilka tysięcy dolarów, czy najpierw spróbować na tym, co się ma?
Jak zacząć: od LM Studio do progu 50 tysięcy dolarów
0xSero: Każdy komputer jest dziś w stanie uruchomić model, który potrafi wywoływać narzędzia i pracować — każdy. Więc od tego zacznijcie. LM Studio to znakomity start dla większości ludzi, na MacBooku i na Windowsie: podpowie, co się zmieści, i pomoże to odpalić. A gdy poczujesz, że chcesz w to zainwestować, zrób tak: wejdź na RunPod albo Lambda — jest jeszcze Prime Intellect — znajdź urządzenie, które chciałbyś kupić, wynajmij je na dwie–cztery godziny, uruchom model i zobacz, jaką dostajesz wydajność. Sprawdź, czy to dla ciebie. Gdy nabierzesz wprawy na własnych maszynach, podejmiesz decyzję. Kilka pewników, jeśli już wiesz, że kupujesz: chcesz dużo pamięci, a szybkość mniej ci przeszkadza — Mac, ewentualnie DGX Spark (miniaturowa stacja robocza Nvidii ze 128 GB pamięci), choć to droższe. Chcesz prędkości frontierowej — niestety Nvidia, to jedyna sensowna opcja. Może AMD z kartą 7900 XTX zbliży się na części modeli, ale rekomenduję Nvidię. Jeśli chodzi o karty: 3090 za tysiąc dolarów lub mniej to świetny zakup. Kolejna opcja — karty 6000. Nie dotykałbym 4090 ani 5090. Jest jeszcze karta 5000 Blackwell — podobna do 6000, ale z połową pamięci, 72 GB: te same kroki cenowe, bardzo drogo.
A co do progów modeli — prowadzimy benchmarki: wzięliśmy 23 najpopularniejsze modele i przetestowaliśmy wszystkie kompresje — 8-, 4-, 3- i 2-bitowe — na pięciu testach: Terminal-Bench, SWE-bench Pro, czyli benchmarkach agentskich, oraz GPTEval; naszym zdaniem najlepszych. Wynik: od dwustu pięćdziesięciu do dziewięciu tysięcy dolarów jedyny model, który ma sens, to Qwen 3.6 27B — jeśli chcesz naprawdę mądrze, ale wolno — albo Qwen 3.6 35B. Gemmy są w porządku, mają wiedzę o świecie, ale moim zdaniem nie pociągną niczego w stylu Claude Code. Wyżej, przy dziewięciu tysiącach, bierzesz dwa Sparki i uruchamiasz Step 3.7 Flash — naprawdę fenomenalny model; jeszcze nie poziom 4.5, ale wielki skok nad Qweny — działa na sprzęcie za dziewięć tysięcy z pełnym kontekstem i równoległością dwóch–czterech sesji. Potem dokładasz kolejne dziesięć tysięcy, by wskoczyć poziom wyżej — to będzie coś w rodzaju MiniMaxa albo DeepSeek V4 Flash. A na końcu jest mój pułap: pięćdziesiąt tysięcy — i uruchamiasz GLM-5.2 w kompresji albo MiniMaxa M3 w 8 bitach. To już realnie dobre, frontierowe modele. Tyle kosztuje dziś ten poziom. Co cieszy: rok temu ta sama półka inteligencji kosztowała sto tysięcy. Robi się taniej, a półek przybywa. Zapamiętaj: poniżej dziesięciu tysięcy bierz cokolwiek, co uruchomi Qwena 3.6 z pełnym kontekstem i dwiema–czterema sesjami naraz — opcji jest sporo.
David Ondrej: Czyli pięćdziesiąt tysięcy za najlepsze modele otwarte — ale ile to tokenów na sekundę?
0xSero: Na GLM-5.2 mam między sześćdziesiąt a osiemdziesiąt tokenów na sekundę przy pojedynczym strumieniu, a przy czterech sesjach naraz dochodzi do około dwustu.
David Ondrej: To naprawdę przyzwoite. Jak myśleć o zestawie, który łatwo rozbudowywać? Ja celowałbym w okolice dwudziestu tysięcy. Co kupić i jak do tego podchodzić? Planujesz „za pół roku mam sprzęt za sto tysięcy”? Jak kupować tak, żeby sprzęt nie starzał się błyskawicznie?
Plan riga: potęgi dwójki i aktywne parametry
0xSero: Mogę pokazać ekran? Kilka rzeczy do przejścia. Najpierw rodzaj sprzętu. Oto nasze benchmarki: każda próbka ma od 64 do 200 tysięcy tokenów, rozwiązanie trwa pięć minut, a model radzi sobie z 85 procentami próbek. Teraz budżet dwudziestu tysięcy: cztery DGX Sparki. Mówię tak, bo każdy Spark łączy się z kolejnym — da się to „zhakować” i łączyć w łańcuch do czterech sztuk — a każdy dołączony węzeł daje mniej więcej półtorakrotny przyrost wydajności. Cztery Sparki to po 128 GB każda, czyli 512 GB. Pomnóż przez dwa i pół i wychodzi jakieś 600 GB na sekundę przepustowości pamięci, plus minus. I od razu widać, jakie modele się na tym mieścią i jak są dobre. Cena: 17,6 tysiąca dolarów. Ja myślę w krokach od komponentu bazowego. Bazą jest 3090 — i rozbudowujesz w potęgach dwójki. Nie chcesz trzech sztuk 3090; chcesz jedną, dwie, cztery, osiem albo szesnaście. Każda ma 24 GB i kosztuje, dajmy na to, tysiąc dolarów. Cztery karty to 96 GB za cztery tysiące — nieco mniej niż połowa ceny za te same 96 GB w kartach RTX Pro 6000, przy połowie szybkości. Ważny jest też krok rozbudowy: chcesz mieć w domu szesnaście kart 3090? Jak je schłodzisz? Skąd weźmiesz prąd? Jeśli celujesz w modele 512-gigabajtowe, nie dotykaj 3090 — zablokują ci się na 96–192 GB i to już jest problem.
Mam jeszcze wykres sprzed pewnego czasu — ceny trzeba przemnożyć przez półtora, bo od tamtej pory wszystko podrożało. Mac w konfiguracji Ultra: za dziesięć–piętnaście tysięcy dostajesz 512 GB, ale wolno — każdy duży model z dużą liczbą aktywnych parametrów będzie na nim powolny. Spójrzcie: MiniMax M2.7 ma 229 miliardów parametrów, z czego 10 miliardów aktywnych. Kimi K2.5 i 2.6 — bilion parametrów, 30 miliardów aktywnych. GLM-5 — 744 miliardy, z czego 40 miliardów aktywnych. Im więcej aktywnych parametrów, tym więcej inteligencji w każdym wygenerowanym tokenie. Qwen 3.6 27B ma 27 miliardów parametrów — per token jest prawie tak inteligentny jak Kimi, tylko ma mniejszy zasięg: mniej wie. I to można rozegrać trzema drogami. Wchodzisz z hardwarem, który już masz — dopasowujesz do niego modele i konfiguracje. Wchodzisz z kwotą — patrzysz, które modele się mieszczą i z jaką szybkością. Albo wchodzisz z konkretnym modelem — i on determinuje wszystko pozostałe. Jeśli chcesz GLM-5 powyżej piętnastu tokenów na sekundę, potrzebujesz Nvidii, i to raczej kart 6000: wszystko większe jest znacznie droższe, a mniejsze wymagałoby riga na dwadzieścia cztery karty, co nie ma sensu. To jakoś odpowiada na pytanie?
David Ondrej: Jak najbardziej. Mam lawinę pytań, ale podejdę inaczej. Jak doradzić mi budowanie w kierunku: „za pół roku mam rig zdolny uruchomić najlepszy otwarty model z najlepszą prędkością”? Koszt mnie mało obchodzi — no, nie milion dolarów. Co kupić dziś, żeby było użyteczne od razu, a strategią jest to, że za pół roku dorzucam do stu tysięcy?
0xSero: Dla ciebie odpowiedzią jest RTX Pro 6000. Jeśli za pół roku jesteś gotów wydać sto tysięcy, a karta kosztuje jakieś dziesięć, to za pół roku masz ich sześć; dorzućmy dwa miesiące — masz osiem. Osiem kart to 768 GB — uruchomisz każdy model, dosłownie każdy, w wysokiej precyzji, z pełnym oknem kontekstu i powyżej stu tokenów na sekundę. Dotyczy to Kimi i GLM-a, czyli wszystkich obecnie najlepszych modeli. Jeśli budżet to dwadzieścia procent tamtej kwoty — dwadzieścia tysięcy — kup DGX Sparki. Każdy ma 128 GB i świetnie nadaje się do treningu, prefillu i fine-tuningu; wolniej generuje tokeny, ale na modelach mieszańcowych (tzw. mixture of experts, gdzie w danym kroku aktywna jest tylko część parametrów) z dziesięcioma–dwudziestoma miliardami aktywnych parametrów wyciśniesz dwadzieścia–czterdzieści tokenów na sekundę — bliżej czterdziestu, jeśli posiedzisz i porządnie zoptymalizujesz. W zasadzie powinieneś odliczać kawałek miesięcznego dochodu na „budżet obliczeniowy” i na tej podstawie decydować. Dwa tysiące miesięcznie — Sparki. Pięć–dziesięć tysięcy — karty 6000. Mniej: na start, dwa tysiące przez pół roku — dwie 3090 i będziesz uruchamiać wszystkie Qweny i Gemmy.
David Ondrej: Świetnie, mam plan: biorę RTX Pro 6000. Nie zaczynam od 3090, bo mam już MacBooka ze 128 GB pamięci — dwie 3090 byłyby pewnie podobne albo słabsze. Czy to coś zmienia? Myśleć o Macu Studio, żeby jakoś łączyć pamięć?
0xSero: Obecnie Exo pozwala łączyć wiele urządzeń — Maci i Sparki — w całość. I dostajesz dwie rzeczy. Łącząc Maca i Sparka, prefill — wstępne przetworzenie promptu — robisz na Sparku, a generowanie tokenów na Macu, bo tu jeden jest lepszy, tam drugi. Średnio: podwójna pamięć i półtora–dwa razy wyższa wydajność, po prostu z posiadania obu. Stackowanie samych Maców też daje niewielkie przyspieszenie. Apple bardzo dobrze przyspieszyło w cyklu rozwoju sprzętu AI, a modernizacja Maca jest tańsza: dodatkowe 512 GB za dziesięć–piętnaście tysięcy — w Nvidii nie dostaniesz tego za mniej niż sto tysięcy. Ale jeśli chcesz frontierowych szybkości — żeby zastąpić Claude Code czy Codexa i nie widzieć różnicy — na dziś jest tylko Nvidia. Jest jeszcze jedna rzecz, na etapie eksperymentalnym, w fazie badań, i wielu ludzi się z niej śmieje: model mieszańcowy — powiedzmy Kimi albo GLM-5.2 — ma 40 miliardów aktywnych parametrów. Przetwarzanie dużego modelu przebiega w dwóch krokach: prefill i dekodowanie. Prefill wymaga załadowania całej pamięci modelu do szybkiej pamięci karty. Dekodowanie — czyli samo generowanie tokenów — wymaga tylko aktywnych parametrów plus specyficznej matematyki modelu; zwykle sprowadza się to do jednej dziesiątej wymagań pamięciowych. Gdyby więc dało się połączyć kartę RTX Pro 6000 z DGX Sparkami i sprawnie, szybko przenosić między nimi bity — tę część generującą tokeny — na 6000-tkę, mielibyśmy szybkości Nvidii po znacznie niższej cenie. To jest akcelerator. Ogromne laboratoria już tak robią: mają na przykład układy Trainium od AWS i karty Nvidii, część wykonują na Trainium i zbierają korzyści obu światów. Ale my, konsumenci, jeszcze nie doszliśmy do etapu, na którym to jest realna opcja. Ma to sens?
David Ondrej: Ma. Czyli obstawiasz kontynuację trendu: za pół roku, za rok — znów o połowę taniej?
0xSero: Koszt uruchamiania znacznie inteligentniejszych modeli spadnie o połowę — tak. Ale cena sprzętu Nvidii w najbliższym czasie nie spadnie. Nie mają mocy produkcyjnych, by nadążyć za popytem. Sprzęt moim zdaniem nie stanieje — tanieje samo uruchamianie inteligencji frontierowej.
David Ondrej: Czyli jeśli ktoś planuje kupić sprzęt, to raczej prędzej niż później?
0xSero: Nie chcę ludziom serwować takiego komunikatu, bo nie każdy może sobie na to pozwolić…
David Ondrej: Nie, nie sprzedaję przekazu — pytam o myślenie dla siebie.
0xSero: To tak: jeśli masz budżet, używasz tego codziennie i od tego zależy twoja praca — wydziel na to budżet i kieruj go w posiadanie. Hipoteka kontra wynajem: jeśli masz coś robić przez całe życie, chciałbyś wynajmować wiecznie, czy kupować w ratach? To dobry sposób myślenia.
Hipoteka kontra czynsz — ekonomia posiadania inferencji
David Ondrej: Właśnie, gdy to mówisz, widzę, że moja strategia to wynajem: wydaję teraz od pięciu do dziewięciu tysięcy dolarów miesięcznie na OpenRouter — dla siebie i zespołu. Kawałek tego mógłby iść w sprzęt. Od razu nie dostałbym tej jakości ani prędkości, ale po sześciu–dwunastu miesiącach konsekwencji miałbym dość mocy, by ciąć subskrypcje — może zostawić parę do eksperymentów z najlepszymi modelami zamkniętymi — i w pełni posiadać lokalny setup. Tak postawione, ma to pełny sens.
0xSero: Firmy tak samo. Firma płacąca trzysta tysięcy dolarów rocznie za Anthropic to nie abstrakcja — są podmioty spoza branży AI, które wydają na AI dziesiątki i setki milionów. Czemu miałyby nie pomyśleć trzeźwo: czy wszystkie zapytania muszą iść do Claude’a i Fable? Nie muszą. Można kupić sprzęt, obniżyć koszty w długim terminie i mieć własną prywatną inferencję oraz własne dane treningowe — bo każda firma to de facto dane treningowe: jak ludzie używają przeglądarki, jak piszą na Slacku. Można to zainstalować, dotrenować model i czynić go coraz dokładniejszym na własnym stacku. Traktujcie to jako długoterminową inwestycję we własną suwerenność. I ostatnia rzecz: gdy kupujesz sprzęt i sam go składasz, uczysz się całego stosu od samego dołu aż po szczyt. A ta wiedza jest dziś bardzo droga — to jest to, za co ludzie płacą. Rodzi się wielka branża i potrzebni są ludzie, którzy to potrafią. Zyskasz realną przewagę, bo po prostu lepiej rozumiesz komputery.
David Ondrej: I będą firmy, które chętnie zapłacą za przeniesienie swoich koszmarnych rachunków Anthropic czy OpenAI na rozwiązanie self-hosted, albo za pomoc w postawieniu GPU w chmurze. Jeśli zrobisz to u siebie, masz wiedzę, za którą firmy płacą — i to jest znacznie lepsza umiejętność niż sklecenie komuś frontu na vibe’ach i nazwanie tego wdrożeniem AI. To jest poważne wdrażanie AI. Wciąż jest mnóstwo firm, które nie mogą korzystać z modeli frontierowych: regulacje, dane prywatne, medyczne, finansowe, prawne — których prawnie nie wolno wysyłać do API OpenAI czy Anthropic. I pewnie nie chcą. A nie chcą też zostać w tyle — nikt nie chce. Chciałyby używać świetnych modeli, tylko nie wiedzą jak; nie wiedzą, że to bardziej osiągalne, niż myślą. Wielu stać na sto tysięcy dolarów na lokalny sprzęt — tylko nie wiedzą, jak je wydać, nie wiedzą nawet, że to możliwe, a gdyby wydali, nie wiedzieliby, które modele uruchomić. Ta wiedza stanie się stanowiskiem: ludzie będą wchodzić do firm i to wdrażać.
0xSero: Mam w Warszawie dobrego znajomego, który zbudował firmę — pomogli wystartować co najmniej czterem spółkom wartym po miliard złotych, mieli ręce w większości najsuccessfulniejszych polskich firm jako deweloperzy. Niecały rok temu zaczęli kupować moc obliczeniową. Dziś mają całe centrum danych: kilka Sparków, kilkanaście 5090 i 6000, parę B200 — wszystko, czego potrzebują, korzystają z tego bez przerwy i dają pracownikom. Poznałem też firmę w Niemczech, która robi to samo: software house kupujący krok po kroku 6000-tki i B200, buduje centrum danych pod własnym dachem — i obsługuje inne firmy. To jest niemiecka prywatna inferencja: „jesteśmy waszym partnerem, nigdy nic od was nie weźmiemy” — i można temu ufać. A Fable? Jeśli chcesz używać Fable, nie wolno ci trzymać danych prywatnie — musisz się dzielić danymi z Anthropic nawet jako enterprise. Więc to po prostu ma większy sens. Tylko wejście jest bardzo drogie dla przeciętnego człowieka — ludzie czują się odcięci cenami.
David Ondrej: Ale ludzie muszą patrzeć w przyszłość i widzieć, dokąd to zmierza: dostęp do inteligencji będzie niezbędny. Robimy to już z panelami słonecznymi — rozumiemy potrzebę własnej energii. Tyle że prąd jest z nami ponad sto lat, a użyteczna AI ma ledwie pięć lat: ludzie nie widzą potrzeby, nie rozumieją skutków. A rozwija się szybciej niż jakakolwiek technologia w historii — więc tę potrzebę muszą zobaczyć.
Demo: 374 miliony tokenów miesięcznie z salonu
0xSero: To, mam nadzieję, nie zawiedzie i nie zawstydzi mnie — odpalam. To działa u mnie w domu. Mój GLM-5.2, z własną kompresją, którą dla niego zrobiłem. Już myśli, robi eksplorację, pobiera swoje umiejętności i za chwilę zrobi mi porządną stronę. To wciąż ten sam model — ściśnięty o osiemdziesiąt procent względem oryginału. Zwykle udaje się wycisnąć około siedemdziesięciu pięciu procent, ja nauczyłem się podbijać to trochę wyżej. Oto trójwymiarowy Flappy Bird — w pełni grywalny — wygenerowany za pierwszym podejściem. A tu DeepSeek V4 Flash: dwie sesje, lewa i prawa, równolegle. Widać, że idzie szybko, obsługuje kilka zadań naraz, robi wywołania narzędzi, czyta. To mniejszy model — uruchomisz go za dziewięć tysięcy dolarów. Kazałem mu posprzątać folder z pobranymi plikami, który był w tragicznym stanie: „posprzątaj, nie interesuje mnie jak”. Widzicie: czyta, stworzył katalogi, ustala zasady podziału — i za chwilę zacznie przenosić pliki we właściwe miejsca. Widać, jak znikają. To praca o realnej wartości ekonomicznej: zajęłaby mnie trzydzieści–sześćdziesiąt minut, a teraz mówię „posprzątaj mi pobrane” i idę robić coś innego. Zaoszczędziłem ten czas. Ten model pomieści się na dwóch kartach 6000 albo dwóch Sparkach — i wykonuje swoją robotę. Po obu stronach ekranu ten sam DeepSeek V4 Flash: jeden wątek bada silniki inferencji, drugi karty graficzne. Możliwości są dziś nieporównanie większe niż kiedyś. Mogę dorzucić kolejną sesję… Uruchomię tu Pi z modelem GLM-5.2. Mogę to samo zrobić z Droidem — Droid normalnie słono kosztuje, bo rozliczają tylko przez API; teraz, o ile widzę, eksperymentują z pulami użycia. Chwila… No cześć, witaj. Co jest w tym repozytorium? To jest prywatna inferencja prowadzona u mnie w domu, która potrafi wszystko to, co modele frontierowe — przynajmniej w pracy. Jestem bardzo zadowolony z tego, co mam; inwestycja się opłaca. Będzie wolno, bo to największy model, jaki da się sensownie uruchomić w domu, licząc aktywne parametry. Mogę też odpalać mniejsze — kart, które mam, wystarczyłoby do zapewnienia inferencji może dwudziestu czterem osobom. Wracamy: model przy pracy, około sześćdziesięciu dwóch tokenów na sekundę na GLM-5.2, widać zużycie pamięci. Miesięcznie: 374 miliony tokenów lokalnie. Zdalnie, szczerze mówiąc, zużywam znacznie więcej. Ale to się spina. Rok temu się nie spinało — dziś tak.
David Ondrej: Absolutnie. Z kwantyzacją i całą tę chińską twórczością badawczą uruchamianie użytecznych modeli lokalnie robi się coraz tańsze — może nie tych najświeższych, bo sprzęt drożeje, ale kto próbował self-hostingu dwa lata temu, niech spróbuje znów. Dostanie dużo lepsze modele — nie jakąś Lammę 3 7B, z którą było fajnie pobawić się, ale która do pracy się nie nadawała. Strategia: coraz większy odsetek tokenów self-hosted? Bo widzowie wierzą w AI, a moje zużycie rośnie co miesiąc. Ty nadal używasz chmury — jak to dzielisz?
0xSero: Zdecydowanie coraz większa część będzie self-hosted. Pokażę jeszcze raz ekran. Dziś o inferencji myślimy: kod, Claude Code, Codex. A jest milion innych rzeczy. Możesz ją posadzić w robocie, może ci sterować światłami, może siedzieć w zegarku i pilnować twojego zdrowia. To Mario, twórca Pi. To Gemma działająca lokalnie — to ona steruje tym urządzeniem. Zobaczcie: podąża za nim. To zabawka — rozebrał dziecięce zabawki i złożył na nowo — może puszczać muzykę, może biegać. I tak właśnie wyobrażam sobie przyszłość lokalnej AI: mnóstwo zastosowań, których jeszcze nawet nie tknęliśmy, odblokowanych przez ludzi majsterkujących w domu.
David Ondrej: Nawet sygnalizacja świetlna. To zabawne, że światłami steruje zero inteligencji: w jedną stronę pusto, a czerwone świeci dla pełnych pasów i wszyscy czekają. To po prostu głupie i spowalnia społeczeństwo. Dałoby się to pewnie rozwiązać bez agenta — parą węzłów i instrukcjami warunkowymi — ale chodzi o ideę: wszystko można ulepszyć, dodając trochę inteligencji. Na przykład ja liczę kalorie przez OpenClaw albo Hermsa — ludzie się ze mnie śmieją, że na kalorie używam Opusa 4.8 Fast, ale mogę zadawać własne pytania: „idę na siłownię, jakie szybkie węglowodany? ile mi zostało kalorii? mam nagranie, muszę być w formie, muszę domknąć białko”. Takich pytań nie zadasz żadnej zwykłej aplikacji do planowania posiłków. Inteligencja wszędzie jest cenna. I pytam o twój setup: kolejne 6000-tki? Co was ogranicza — prąd z sieci?
Fizyczne limity: prąd, ciepło i hałas
0xSero: Ograniczam to. Ustawiam kartom limit mocy na czterdzieści procent możliwości — wszystkim. To spowalnia inferencję o dwadzieścia–trzydzieści procent, ale zysk energetyczny jest tego wart. Elektrykę w domu mam już podniesioną, we wrześniu podnoszę znowu — chcę więcej mocy. Chcę cztery kolejne 6000-tki. Potem sensu w rozbudowie będzie niewiele. Chciałbym raczej przenieść rig do tego znajomego, do jego centrum danych. Obecne limity: jest głośno, jest gorąco, jest drogo — ale odłóżmy koszt. Ciepło to problem: jak wyprowadzić ciepło z pokoju, gdy kręcisz prawdziwą inferencję? I prąd: w Europie dwa obwody wystarczą na zasilanie ośmiu kart 6000; w Ameryce trzeba czterech — co jest, szczerze mówiąc, trochę absurdalne. To są główne ograniczenia. Ale to nie jest takie trudne i warto. Oto raport, który wypluł GLM, gdy go o coś prosiliśmy — zbudował ten interfejs w jakieś dwie minuty i tłumaczy mi, czym jest agent Pi, że ma siedemdziesiąt trzy umiejętności. Niech teraz zrobi mi grę wideo, trójwymiarową — może wyścigi… Niech pracuje. A to Inworld — normalnie zapłaciłbyś za to dużo, bo to chyba najlepszy harness na rynku, czyli otoczka narzędziowa wokół modelu — a ja używam za darmo, bo podpinam własną inferencję. I o to chodzi: warto. Jeśli zużywasz ponad dwa miliardy tokenów miesięcznie — to się opłaca. Tak, będę rozbudowywać.
Modele bez cenzury — i kaktus, o który nie dbnie GPT
David Ondrej: Póki buduje: co sądzisz o modelach bez cenzury i fine-tuningu? Myślisz, że rząd po ciebie przyjdzie, jeśli trzymasz w domu model bez cenzury?
0xSero: To zależy od skali. Ilu ludzi używa i czy sprawa wejdzie w wiadomości. Mówię tu tylko o Ameryce, bo stamtąd pochodzę. Nasi politycy jeżdżą na newsach: jeśli w mediach pojawi się, że stało się coś złego — nieistotne, czy to prawda — temat wjedzie do polityki. A ktoś, kto chce zapłacić za wypromowanie sprawy, też ją tam wprowadzi. Przydałaby się organizacja na wzór Human Rights Foundation, z budżetem na lobbing, która trzymałaby polityków z daleka — bo oni w praktyce czekają na pieniądze: dostaną je stąd albo stąd, więc trzeba licytować się o ich uwagę. To spina się z wcześniejszym wątkiem: jaka jest skala i kiedy do rządu dotrze, że ludzie uruchamiają to w domu. Jeśli to nastąpi, zanim sprawa się rozprzestrzeni — będzie problem. Używałem modeli bez cenzury; moim faworytem był Hermes 70B, bo przechodzi ciężki post-trening usuwający zabezpieczenia — można zapytać o praktycznie wszystko i dostać odpowiedź. Czasem tego potrzebuję. Mam kaktusa — pejotl. Trzeba się nim zająć; nie używam go jako środka, to po prostu piękny kaktus, który dostałem w prezencie, a nie wiem, jak go pielęgnować. Pytam GPT, pokazuję zdjęcie: „jak się nim opiekować?” — nie odpowie. Claude nie odpowie: „nie możemy rozmawiać o…”. A Hermes: „to ten a ten gatunek; daj mu taki żwir, podlewaj raz na dwa tygodnie”. Tę informację znalazłbym w sieci, ale szukałbym pół godziny po losowych blogach, wśród reklam, prostując sobie głowę.
David Ondrej: Czyli wygoda. Strategia: nieść przesłanie, ale nie pokazywać zbyt szalonych zastosowań — i zebrać jak najwięcej ludzi. Pierwsze kroki? Pobierać wagi? Czy Hugging Face realnie ryzykuje zamknięcie, czy to przecenione? Bo jakoś taki to klimat.
0xSero: Mogę coś przekręcać — rozmawiałem z Victorem z Hugging Face, szefem produktu, i mówił coś o tym, że jakiś rząd — francuski, o ile pamiętam — próbował wygasić zbiory danych i składał wnioski o ich zdjęcie. Jeśli do czegoś dojdzie, zacznie się od zdejmowania pojedynczych modeli i zbiorów, a nie całej strony. Pójdą po tych, którzy modele udostępniają, albo poproszą Hugging Face o usunięcie wag z indeksu. Moim zdaniem warto wagi instalować, bo gdy byłem dzieckiem, wszystko brałem z torrentów — gry, seriale. Kultura torrentów wymaga, by pliki mieli ludzie. Po prostu trzeba je mieć. Pytanie tylko: ile masz miejsca i czy jesteś gotów poświęcić terabajt na jeden model? Jeśli nie i sprawa jest ci obojętna — nie przekonam cię. Ja pobieram i przechowuję. Mam osiem… właściwie dwanaście terabajtów, całą stertę modeli — i to wciąż za mało. Potrzebuję więcej.
David Ondrej: A dyski są znacznie tańsze od kart graficznych: dwadzieścia terabajtów prawie za grosze — i masz tysiące zbiorów danych i wszystkie najlepsze modele.
0xSero: I możesz w przyszłości seedować torrenty, gdyby doszło do zepchnięcia tych modeli do podziemia. A poza tym to świetne obiekty badawcze. Może w końcu pozwolisz sobie na GLM-5.2 — i już go masz. Bo pytanie brzmi: o ile jeszcze mogą się mądrzeć? Jesteśmy blisko sufitu, czy terabajt danych może być o tak wiele mądrzejszy? Nie potrafię tego rozstrzygnąć — nie mam wiedzy ani umiejętności.
David Ondrej: Widzisz spowolnienie? Bo ja nie czuję. Postęp w małych modelach wydaje mi się nawet szybszy niż w dużych.
0xSero: Spowolnienia nie widzę, ale żyję we własnej bańce. Bo wciąż pytam ludzi: dlaczego nie lubicie AI? Zwykli ludzie, artyści… Może rozumiem, ale nie pojmuję, jak można nie widzieć tego, co widać. Może to ja jestem szalony. Nie wiem.
Niewielu rozumie skalę zmiany
David Ondrej: Też tak mam. To dosłownie największa technologia w historii — i jest teraz, w naszym czasie. Najważniejszym zasobem przyszłości jest inteligencja, a wrażenie takie, że nikt nie zwraca uwagi. Gdy wychodzi nowy model, trzeba zejść trzy warstwy w głąb, żeby ogarnąć skutki — a procentowo prawie nikt się tym nie zajmuje. Z moich znajomych: byłem w szoku, ilu zignorowało Fable 5. Nie potraktowali go serio, nie spędzili na nim każdej godziny: „no, nowy model, do większości zadań trochę za drogi, whatever”. Mówię: ludzie, to jest skok jakości, czy wy nie jesteście prawdziwymi wyznawcami? A gdy model zdjęto, jeszcze bardziej byłem w szoku, jak mało osób zrozumiało konsekwencje: jeśli rząd kontroluje przyszłość inteligencji — gdy dojdziemy do AGI i dalej — to koniec. Nie może być centralizacji. I każda kolejna warstwa zrozumienia to coraz mniejszy odsetek ludzi. Czasem czuję się obłąkany, bo ludzie, którzy naprawdę rozumieją, gdzie AI jest, co potrafi i co będzie za dwa lata — oraz co oznacza pełna centralizacja — to ułamek procentu. To naprawdę szalone.
Skąd u Davida ta determinacja
0xSero: Muszę lecieć na pełną godzinie — ale daj znać, gdybyśmy ciągnęli za długo. Chętnie jeszcze zapytam o parę rzeczy. Twoi widzowie tego nie słyszą, ale co cię tak napędziło? Widzę cię od roku na YouTube — co kazało ci tak mocno wejść w tę branżę?
David Ondrej: Przez „branżę” rozumiesz AI ogólnie, czy lokalny self-hosting?
0xSero: Oba. Zacznij od AI.
David Ondrej: Cofnę się dalej. Wolnościowe wartości miałem już w wieku jedenastu, dwunastu lat — tłumaczyłem kolegom w klasie, przy okazji wolnej lekcji, jak działa scentralizowany system bankowy. Nie rozumieli, bo mieliśmy po dwanaście lat. A jeśli chodzi o AI: mam dwadzieścia cztery lata i to pierwsza rewolucja technologiczna, w której mogę realnie uczestniczyć. Bańka dotcomowa pękała, gdy się rodziłem — a nawet wcześniej. Fala mediów społecznościowych to lata 2004–2006: wtedy najlepiej było zaczynać. Aplikacje mobilne — początek lat dziesięciu bieżącego stulecia. Bitcoina najlepiej było kupować od startu do 2013 roku. Wszędzie byłem za wcześnie — nie miałem pieniędzy, mając jedenaście lat. A to jest pierwsza rewolucja, w której naprawdę mogę uczestniczyć. Gdy to do mnie dotarło, porzuciłem wszystko: robiłem przedtem treści gamingowe na YouTube i zarabiałem bardzo dobrze — dwadzieścia tysięcy dolarów miesięcznie w wieku dwudziestu lat. Świetne pieniądze. Ale całkiem przestałem, bo zrozumiałem: to jest to. Moja szansa, moja pierwsza wielka rewolucja technologiczna — i być może największa w historii. Myślę, że będzie największa. Dlatego przeszedłem na AI. A co do open source, lokalnej AI i modeli bez cenzury — mam filmy po dwieście tysięcy wyświetleń na ten temat — dla mnie to po prostu oczywiste. Dlaczego Dario Amodei miałby decydować, o co mogę pytać? Kto w ogóle ma decydować? Jakiś europejski urzędnik? Ursula von der Leyen? Jakiś amerykański polityk opłacany przez kogoś? Nie — ja będę decydował, o co pytam. Te wartości miałem zawsze, jestem też wielkim wyznawcą Bitcoina jak ty. Są rzeczy, których nie da się wytłumaczyć — są po prostu oczywiste. Najważniejsza technologia w historii nie powinna być scentralizowana w rękach polityków ani garstki prezesów.
0xSero: A twoja publiczność? Czytasz komentarze, rozmawiasz z ludźmi — jakie jest przeciętne nastawienie?
David Ondrej: Pokażę ci sondy z kanału — dwie ostatnie były o open source. Proszę: pytanie „kto powinien kontrolować przyszłość AI?”. Osiemdziesiąt dwa procent: nikt — open source. Sześć procent: firmy prywatne. Pięć procent: rządy. Siedem procent nie ma zdania. Ostatnia sonda: „dlaczego chcesz otwartego AI?” — tańszy albo darmowy dostęp; prywatność i kontrola; nieufność wobec wielkich laboratoriów i big techu; dla wszystkich. To odpowiada na pytanie?
0xSero: Odpowiada. Skoro głosowało dwa i pół tysiąca ludzi przy czterystu tysiącach subskrypcji — półtora procenta zaangażowania, jak na X to bardzo wysoko. To dobrze. Bo ja dużo obcuję z ludźmi ze świata zamkniętych modeli — prowadzę firmę kontraktową, współpracowałem praktycznie z każdą z nich — i tam nikt tak nie patrzy. Może dlatego, że siedzą w środku i trudno im wyobrazić sobie bycie na zewnątrz. Opinie ludzi spoza naszej niszy są wciąż bardzo odległe, a próba zbliżenia ich brzmi jak ściema albo namowa do wydania pieniędzy. Trudno to sprzedawać jako technologię wolności. Dlatego meetupy — te stacjonarne spotkania — to miejsce, gdzie widzę największy wpływ: spotkać człowieka naprawdę i wytłumaczyć mu — to robi ogromną różnicę. Zresztą widziałem, że robiłeś trochę fine-tuningu i lokalnej inferencji. Jakie wrażenia?
David Ondrej: Tylko na MacBooku — dlatego kupiłem mocną maszynę. Gdyby sprzedawali MacBooka z 256 GB RAM, kupiłbym od ręki; niestety nie ma takiej opcji. Więc jeśli ktoś z Apple słucha: następna generacja — prosimy o co najmniej podwojenie pamięci. Ale nawet gdy wychodziła Llama 3, robiłem filmy o fine-tuningu — oczywiście nic tak spektakularnego jak u ciebie. Zawsze wydawało mi się to po prostu fajne: mieć własny model. Jedyny taki na świecie. Sama idea jest dobra.
Roboty za 30 tysięcy i edukacja dzieci — pożegnanie
0xSero: Byłem w Niemczech w biurze firmy Micro AGI. Mają kilka biznesów, a rdzeń jest taki: płacą ludziom za wykonywanie pracy i rejestrowanie, co robią. Mechanik zakłada urządzenie i dostaje zapłatę — kontrakt jak w Uberze, nie przymus korporacyjny; model end-to-end. I z tych danych korzystają. Byłem w ich laboratorium: roboty Unitree, DGX Spark i DGX Thor, gogle VR od Mety — a wszystko działa na otwartym stacku wydanym przez Nvidię. To niesamowite, ile prawdziwie otwartego Nvidia wydała: dane treningowe, skrypty, środowiska, finalne wagi, modele bazowe. Pokazali mi, jak Gemma 4 — czteromiliardowa — sterowała robotem i pomagała mu podejmować decyzje w realnym świecie. Trenują ją: podnoszenie pudełek, obracanie rzeczy, łączenie kabli. To robi ogromne wrażenie, bo robot kosztuje dwadzieścia tysięcy dolarów, DGX Spark cztery, gogle tysiąc — i to wszystko. Za trzydzieści tysięcy dolarów masz w domu prawdziwego robota robiącego prawdziwe rzeczy, bez abonamentu. Nikt nie może ci tego zabronić, nie musisz robić nic specjalnego. To mnie niesamowicie cieszy. Nie mogę się doczekać małych robotów biegających po domu i robiących porządki. I edukacja dzieci — mam dzieci i myślę, jak chcę je edukować: spersonalizowana nauka, techniczna, szczegółowa, którą mogę sam stroić. To wielka sprawa.
David Ondrej: Ogromna. Przecież tego użyją w edukacji — już próbują. Widziałem szkoły, które dzięki AI osiągnęły oszałamiające wyniki; nie pamiętam nazwy, widziałem na X — różnica była szalona.
0xSero: No właśnie. Dziękuję ci serdecznie za zaproszenie — to była wspaniała rozmowa. Masz jeszcze jakieś pytania, zanim zamkniemy?
David Ondrej: Może zamykajmy — jest już prawie dwudziesta trzecia, a ja siedzę w Polsce. Dzięki wielkie, stary. Dobrego dnia!