O czym jest ten film
- Autor krytykuje typowe dema nowych modeli (gra, strona www, jednodniowa aplikacja) i postanawia sprawdzić Fable 5.2 na prawdziwym sprzęcie.
- Za 99 dolarów kupuje robota biurkowego M5Stack, całkowicie czyści fabryczne oprogramowanie i oddaje sterowanie Claude’owi.
- Efekt: głosowy asystent odpowiadający klonem głosu autora, z dostępem do prawdziwej skrzynki mailowej, kalendarza i setek aplikacji.
- Robot reaguje na dotyk, wykrywa powrót właściciela (zdjęcie kontrolne co 20 sekund), a wszystkie nagrania zostają lokalnie na Macu.
- Cały projekt rozpisuje jeden prompt w ośmiu częściach: od researchu i backupu, przez cel i integracje, po ograniczenia oraz diagnostykę.
- Mózg robota przesiada się z Qwena na Opusa 5.5 przez Claude SDK — subskrypcja Claude staje się „paliwem” dla sprzętu.
- Głos sklonowano w Fish Audio (model „drama 3”) na podstawie piętnastu filmów z YouTube; ekspresją sterują nawiasowe didaskalia.
- Trening zastąpiły symulowane rozmowy: Mac odgrywał rozmówcę syntetycznym głosem, a Claude nasłuchiwał błędów — ponad trzydzieści rozmów bez udziału autora.
- Największe problemy praktyczne: opóźnienia, głuchota na dotyk i mamrotanie, hałas własnych silników oraz błędnie odpalające się narzędzia.
- Cała infrastruktura trafia do open source; zapowiedziano kolejne eksperymenty ze sprzętem, m.in. z drukarką 3D.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Modelowi frontierowemu wystarczy sprzęt, dokumentacja i dostęp przez USB
Na czym polega: Autor nie jest inżynierem sprzętowym — podpiął robota za 99 dolarów do komputera, dał modelowi stronę produktu ze specyfikacją i instrukcją, a ten sam ocenił, co da się zmienić, i przebudował oprogramowanie.
Jak stosować: W własnym projekcie sprzętowym zacznij od przekazania modelowi dokumentacji producenta, forów użytkowników i otwartych projektów firmware, zamiast samodzielnie rozbierać się przez kod.
Na co uważać: Zanim cokolwiek ruszysz, zrób pełny backup systemu — i licz na iteracje (do finalnej wersji autor doszedł po dwudziestu).
2.Zleć modelowi research zakupowy sprzętu
Na czym polega: To Claude wyszukał trzy najlepsze osobiste roboty modyfikowalne z poziomu komputera; wybór padł na urządzenie w najlepszej relacji ceny do możliwości.
Jak stosować: Przed zakupem sprzętu do eksperymentów z AI poproś model o krótką listę kandydatów według jasnych kryteriów: otwarty firmware, dostępna dokumentacja, aktywna społeczność.
Na co uważać: Rekomendacje zweryfikuj sam — autor jawnie zaznacza brak powiązań z producentem, ale twoja lista może być już nieaktualna lub niedostępna lokalnie.
3.Wyczyść fabryczną chmurę i trzymaj dane lokalnie
Na czym polega: Robot z pudełka wysyłał rozmowy, dane i zdjęcia do chmury producenta; model wyczyścił go do zera i przebudował tak, by nagrania i kontrole kamery zostały na Macu, a drobne zadania obsługiwały lokalne modele.
Jak stosować: Przy każdym urządzeniu z kamerą i mikrofonem zacznij od audytu: co, dokąd i po co wysyła — i przenieś przetwarzanie danych wrażliwych na własny komputer.
Na co uważać: Pełne czyszczenie zabiera fabryczne funkcje (aplikacja, pilot, smart home) — trzeba je odtworzyć samemu.
4.Prompt-projekt w ośmiu częściach jako szablon
Na czym polega: Cały plan budowy zmieścił się w jednym prompcie podzielonym na części: rozpoznanie urządzenia, audyt komponentów, backup, dostęp do aplikacji mobilnej, cel i integracje, mimika i słowo aktywujące, styl oraz hamulce, wreszcie diagnostyka z pętlą testów.
Jak stosować: Przenieś ten szkielet na dowolny projekt sprzętowy — nie musi to być robot-asystent; każdą częścią sterujesz kolejny etap prac.
Na co uważać: Nie pomijaj części o ograniczeniach i backupie — to one chronią przed nieodwracalnymi szkodami, gdy agent coś „wymyśli”.
5.SDK jako most między subskrypcją a sprzętem
Na czym polega: Domyślny model robota (Qwen) podmieniono na Opusa 5.5 pracującego na subskrypcji Claude — dzięki Claude SDK, czyli pomostowi między subskrypcją a dowolnym oprogramowaniem i sprzętem.
Jak stosować: Chcesz, by twoje urządzenie korzystało z modelu, na który masz subskrypcję? Sprawdź oficjalne SDK producenta modelu i realny koszt transferu zapytań.
Na co uważać: Regulamin zwykle toleruje użytek osobisty, ale to nie porada prawna — warunki sprawdź we własnym zakresie.
6.Klon głosu plus „didaskalia” emocjonalne
Na czym polega: Głos sklonowano w Fish Audio (nowszy, bardziej ekspresyjny model „drama 3”) na podstawie piętnastu filmów z YouTube. Nawiasowe didaskalia — „zaskoczony”, „radosny” — sprawiają, że API mocniej „gra” kwestię; ta sama linia z wskazówką brzmi zupełnie inaczej.
Jak stosować: Budując agenta głosowego, każdej zaplanowanej kwestii nadaj reżyserię; niech model rozpisze didaskalia na podstawie dokumentacji API.
Na co uważać: Wskazówki muszą odpowiadać temu, co faktycznie obsługuje API — i sprawdź warunki usługi dotyczące klonowania mowy.
7.Zablokuj agentowi nieodwracalne akcje
Na czym polega: Robot czyta prawdziwą skrzynkę i szkicuje odpowiedzi, ale prompt zabrania mu samodzielnego wysyłania czegokolwiek — to zabezpieczenie przed halucynacjami i błędami.
Jak stosować: Każdą akcję, której nie da się cofnąć (wysyłka maila, płatność, publikacja), zostaw do potwierdzenia przez człowieka.
Na co uważać: Ograniczenie musi być „wypieczone” w prompcie jako twarda reguła, nie prośba — i warto przetestować, czy agent rzeczywiście jej pilnuje.
8.Zrób z agenta szklany dom
Na czym polega: Robot na bieżąco pokazuje, z jakiej usługi korzysta: płomień na czole to research przez Firecrawl, ikona Google — kalendarz i poczta, a wielkie „T” w rogu ekranu znaczy, że przetwarza prośbę.
Jak stosować: Przy agentach spiętych z wieloma narzędziami wyświetlaj status każdego wywołania — od razu widać, co się odpala, a co zawisa.
Na co uważać: Jawność to przede wszystkim narzędzie debugowania — bez niej nie odróżnisz „narzędzie się nie uruchomiło” od „odpowiedź się spóźnia”.
9.Ślady, zrzuty co sekundę i tryb testowy
Na czym polega: Każda sesja zostawiała szczegółowe ślady, które model analizował i na ich podstawie iterował. W trybie testowym system czekał na całą rozmowę i porównywał, o które narzędzia poproszono, choć się nie uruchomiły — i odwrotnie. Przy testach reakcji na muzykę robot robił zrzut ekranu co sekundę, by zestawić zachowanie z oczekiwanym.
Jak stosować: Zanim puszczą agenta na żywo, uruchom go w trybie testowym z pełnym logowaniem i przeglądaj rozjazdy między intencją a wykonaniem.
Na co uważać: Pełne logowanie szybko narasta — warto je filtrować po sesjach lub funkcjach, żeby analiza nie zagłuszała samej pracy.
10.Niech agent ćwiczy sam z sobą — i podziel role między modelami
Na czym polega: Zamiast godzinami rozmawiać z robotem, autor kazał Macowi odgrywać rozmówcę syntetycznym głosem z głośników; Claude nasłuchiwał w środku i notował błędy. Po kilku godzinach: ponad trzydzieści symulowanych rozmów bez człowieka. Do tego role się dzielą — Fable planował i budował pierwsze wersje, Opus 5.5 doprowadzał iteracje do końca (limity Fable wciąż doskwierają).
Jak stosować: Pętla „syntetyczny rozmówca plus obserwator” przenosi się na każdego agenta głosowego — trening może się odbywać nocą, bez twojego udziału.
Na co uważać: Symulacje nie zastępują realnych warunków — mamrotanie i wołanie z drugiego końca pokoju trzeba było doszlifować osobno; licz też, że projekt zajmie wiele wersji.
Redakcyjne tłumaczenie
Od teaserów do prawdziwego sprzętu
— Hej, Lil Token, co mam dziś w kalendarzu?
— Tylko jedna rzecz: sesja dema Lil Tokena o 21:30. Czyli właśnie teraz. Hej, jestem w powietrzu!
Przeciętny film pokazujący nowy model AI ma zawsze ten sam zestaw: grę, w którą nigdy nie zagramy, stronę internetową, której nigdy nie wdrożymy, i aplikację, o której jutro wszyscy zapomną. Tymczasem modele pokroju Fable 5.2 potrafią brać na warsztat prawdziwe sprawy z prawdziwego życia. Anthropic zresztą samo zapowiedziało ten model krótkim teaserem, w którym Fable projektował sprzęt — postanowiłem sprawdzić to w praktyce.
Nie jestem sprzętowcem i nigdy nie zaprogramowałem robota od zera. Kupiłem więc za 99 dolarów gotowca z półki sklepowej, podpiąłem go do komputera i pozwoliłem Claude’owi przejąć stery. Ten zbudował z urządzenia mojego osobistego asystenta. Dziś robot potrafi praktycznie wszystko: odpowiada na pytania, prowadzi research, zagląda do mejla i kalendarza oraz obsługuje setki aplikacji — wszystko na jedno polecenie głosowe. Co najważniejsze, odpowiada mi głosem będącym klonem mojego własnego. Wie, kiedy go głaszczę, wie, że gra muzyka, a nawet ubiera się stosownie do kultury tego, co akurat leci.
Do tej wersji doszliśmy po dwudziestu iteracjach — i nie każdą robił Fable. Owszem, limity korzystania z tego modelu są dużo łaskawsze niż w Fable 5.1, ale wciąż doskwierają, więc używałem go głównie do zaplanowania projektu i zbudowania pierwszych kilku wersji. Dalsze szlifowanie wziął na siebie Opus 5.5, aż dotarliśmy do finalnej odsłony. W tym materiale pokażę, co robot potrafi i jak wyglądała praca z Fabłem. A nawet jeśli robotyczny asystent cię nie kręci, zobaczysz przynajmniej, jak potężne są modele frontierowe, gdy zamiast kolejnej aplikacji sklejonej metodą vibe codingu dostają do rąk fizyczny sprzęt. (Informacja dodatkowa: „vibe coding” — potoczne określenie programowania, w którym kod generuje model AI na podstawie luźnych opisów, a człowiek nie wnika w szczegóły.)
Poznajcie Lil Tokena
Oto mój przyjaciel Lil Token. Waży tyle, co mój telefon, i zaraz pokażę, co umie.
— Siedzę na biurku z najlepszym widokiem w Toronto, a mój szef właśnie zrobi ze mnie gwiazdę. Duży tydzień: w poniedziałek Anthropic wypuściło Claude’a Fable 5.2 i Mythosa 5.2.
Nie wpisałem tego tekstu na sztywno. Robot wymyśla takie kwestie sam, bo pracuje na mojej subskrypcji Claude. Umie też wyszukiwać dla mnie informacje — a od początku zaprojektowałem go tak, żeby pokazywał, z jakiej usługi korzysta przy danym zapytaniu. Mały płomień na czole znaczy, że robi research przez Firecrawl. Ikona Google pojawia się, gdy sprawdza kalendarz albo pocztę. Do setek pozostałych aplikacji podpięliśmy go przez darmową bibliotekę composio.dev, która otwiera agentowi dostęp do masy narzędzi.
To moja prawdziwa skrzynka odbiorcza, nie żadna symulacja. Robot potrafi ją przeczytać i naszkicować odpowiedzi, ale zaprogramowałem go tak, żeby niczego sam nie wysyłał.
Czego się nie spodziewałem, to że Fable sam rozgryzie, jak ruszać oprogramowaniem tak, by robot reagował na dotyk. Wie też, kiedy odstawiam go na biurko. Co dwadzieścia sekund wykonuje szybkie zdjęcie, żeby sprawdzić, czy wróciłem po dłuższej nieobecności — i trzyma rachubę w tle. Gdy wracam, wita mnie i streszcza, co mnie dziś czeka. Nagrania i ujęcia z kamery zostają na moim Macu. Na miejscu kręci się też kilka drobnych modeli lokalnych, do administracyjnych zajęć.
Kilka tygodni temu dałoby się to samo osiągnąć Opusem, ale wymagałoby znacznie więcej planowania i szlifowania. A nawet z Fabłem robot psuł się na rozmaite — i bardzo zabawne — sposoby. W pewnym momencie mój piękny mały Token miał zielone pasy na całej twarzy i wszystko trzeba było naprawiać.
Skąd wziął się robot i co zniknęło z pudełka
Robota kupiłem od firmy M5Stack, z którą nie mam żadnych powiązań. To Claude robił research: poprosiłem go o wskazanie trzech najlepszych osobistych robotów, które po podpięciu do komputera pozwalają grzebać we wszystkim — w firmware i w oprogramowaniu. Wrócił z kilkoma propozycjami, a ja wybrałem tę, bo była złotym środkiem między ceną a możliwościami.
Z pudełka urządzenie ma własną aplikację mobilną, pilota i integrację z domem inteligentnym. Nie chciałem jednak, żeby moje rozmowy, dane i zdjęcia z kamery wyjeżdżały do jakiejś obcej chmury. Kazaliśmy więc Fabłowi wyczyścić robota do zera i zrobić inwentaryzację jego możliwości: ekran dotykowy, kamera, dwa mikrofony, głośniki, czujniki ruchu, diody, a nawet układ Wi-Fi. Wszystkie potrzebne podzespoły były na pokładzie — zostało tylko przebudować całe oprogramowanie i firmware.
Wystarczyło podpiąć robota do komputera i dać modelowi dostęp do strony produktu, żeby mógł przeczytać specyfikację i instrukcję. Na tej podstawie Fable powiedział mi dokładnie, co da się zmienić, a czego ruszać nie warto. Zanim cokolwiek skasowaliśmy, zrobił pełny backup systemu — na wszelki wypadek.
Osiem części promptu, czyli projekt zapisany w jednym dokumencie
Rozbiję teraz na części ósmego prompta, który poszedł do Fable i na podstawie którego model spisał specyfikację całego przedsięwzięcia. Nawet jeśli twój przypadek nie jest robotem-asystentem, ten schemat da się przenieść na dowolny sprzęt.
- Rozpoznanie terenu. „Użyj Firecrawl, żeby dokładnie przeszukać tę konkretną markę i model: dokumentację producenta, stronę produktu, otwarte projekty firmware i to, co piszą właściciele na forach.”
- Audyt aplikacji. Rozbicie mobilnej aplikacji producenta na części pierwsze, żeby docisnąć model do zrozumienia, jak wszystkie komponenty składają się w całość.
- Backup. Pełna kopia oprogramowania i firmware — na wypadek, gdybyśmy coś zepsuli.
- Aplikacja i Wi-Fi. Pobrałem aplikację mobilną i dałem modelowi komputerowy dostęp przez lustrzane odbicie iPhone’a, żeby sam poklikał po niej, znalazł moje Wi-Fi i podpiął urządzenie. Dzięki temu mogłem odłączyć robota od aplikacji producenta i pracować w trójkącie aplikacja–komputer–Wi-Fi. (Informacja dodatkowa: „computer use” — tryb, w którym model steruje interfejsem komputera jak człowiek: patrzy na ekran, klika i wpisuje tekst.)
- Inżynieria celu. Tutaj spisujemy wymarzony efekt. Domyślny model robota — Qwen — podmieniamy na Opusa 5.5, pracującego na mojej subskrypcji Claude. Mostem jest Claude SDK, czyli oficjalne połączenie między subskrypcją a dowolnym oprogramowaniem i sprzętem. Przy zastosowaniach osobistych powinno to mieścić się w regulaminie, ale sprawdźcie to sami. Dalej głos: robot ma odpowiadać klonem mojego głosu przez API Fish Audio, które ma nowszy, znacznie bardziej ekspresyjny model „drama 3”. Wszystkie intonacje, które — mam nadzieję — słychać w tym filmie, starałem się odwzorować w agencie. Ekspresję wzmacniają nawiasowe didaskalia mówiące, kiedy robot ma być zaskoczony, rozradowany czy podekscytowany — wtedy API mocniej „gra” odpowiedź. Wreszcie narzędzia: research przez Firecrawl w MCP, poczta i kalendarz przez Gmail CLI (doczepia też Google Forms), a do setek innych aplikacji darmowy composio.dev. (Informacja dodatkowa: MCP, Model Context Protocol — otwarty standard podłączania modeli AI do zewnętrznych narzędzi i danych.)
- Twarze i słowo aktywujące. Cała sekcja o mimice robota — wrócę do niej osobno. Obok niej: wyrażenie budzące, „Hej, Lil Token”. Działa jak „Hej, Siri” — po usłyszeniu pyta, czego potrzebujesz, i słucha jeszcze 10–15 sekund, na wypadek gdyby dokończenie zdania zajęło ci chwilę.
- Styl i hamulce. Część piątą promptu poświęciłem temu, jak zwięzłe mają być odpowiedzi i wszystkim związanym z tym niuansom. Część szósta to lista twardych ograniczeń, które Fable miał „wypiec” w robocie: niczego nie wysyła w moim imieniu — zabezpieczenie przed halucynacjami i błędami.
- Diagnostyka i samouczenie. Część siódma: proszę Fable o zestaw sposobów śledzenia wszystkich błędów. Gdy testuję np. rozpoznawanie muzyki i kulturalną reakcję na nią, robot robi zrzut ekranu co sekundę, żeby porównać zachowanie z oczekiwanym. Ostatnia część jest najbardziej pomysłowa i przenosi się na każdego agenta głosowego: zamiast siedzieć w domu i bez końca gadać z robotem, żeby przestał być głupi, kazałem Macowi odgrywać rozmówcę — głośniki puszczały syntetyczny głos, robot z nim rozmawiał, a Claude nasłuchiwał w środku i notował błędy. Po kilku godzinach mieliśmy ponad trzydzieści w pełni symulowanych rozmów, w których ja już nie uczestniczyłem.
Głos: klon z piętnastu filmów i reżyseria intonacji
System głosowy jest prosty. Mówię normalnie; Claude transkrybuje wypowiedź, Fish Audio pobiera identyfikator mojego sklonowanego głosu i odtwarza odpowiedź. Klon zrobiłem banalnie łatwo — wrzuciłem do usługi piętnaście moich filmów z YouTube i tyle. (Informacja dodatkowa: Fish Audio — usługa syntezy i klonowania mowy.) Potem poprosiłem Fable, żeby na podstawie dokumentacji API rozpisał, jak dodawać nawiasowe wskazówki — instrukcje, kiedy i jak agent ma mówić. Każda zaplanowana kwestia dostała swoją reżyserię. Posłuchajcie różnicy. Ta sama linia bez wskazówki:
— Hej, spokojnie. Kręci mi się w głowie.
I dokładnie ta sama linia z większą ekspresją:
— Hej, spokojnie! Kręci mi się w głowie!
Ściana wstydu, czyli jak to się psuło
Nawet przy solidnym planie Fable sporo szło nie tak — ściana wstydu to ledwie fragment wszystkich wpadek. Oszczędzę wam czytania, bo wszystko i tak udostępniam; wymienię główne bolączki. Opóźnienia. Głuchota na dotyk i na mowę. Długie przestoje między pytaniem a odpowiedzią. Robot miał też problem z odróżnieniem, czy mówię o jakimś narzędziu, czy chcę je uruchomić. Poza kamerą mam skłonność do mamrotania — a wymamrotane „Lil Token” po prostu do niego nie docierało, więc musiałem go uczyć różnych sposobów wołania, żeby słyszał mnie z drugiego końca pokoju. Był i przepiękny taniec: własne silniki hałasowały tak, że robot słyszał muzykę i ruszał do tańca, ale nie potrafił przestać, bo silniki zagłuszały resztę dźwięków. Uczyłem go więc komend typu „przestań tańczyć” — które, rzecz jasna, też potrafił źle usłyszeć. Reszta problemów to wywoływanie narzędzi: raz się nie odpalały, raz strzelały same z siebie.
Dzięki temu, że każda sesja zostawiała ślady, które Fable — a z czasem Opus — mógł analizować, system dało się ulepszać przy każdym spotkaniu. Uruchamiałem okresy testowe: robot działał w trybie testowym, czekał na całą rozmowę i sprawdzał, o które narzędzia poproszono, choć się nie uruchomiły — i odwrotnie.
Architektura: od pytania do odpowiedzi
Rozpiszmy pojedynczą prośbę. Pytam: „Co mam w kalendarzu?”. Claude transkrybuje pytanie, przekazuje je do Fish Audio, a odpowiedź spływa z powrotem i leci z głośnika robota. Dopóki żądanie krąży, w prawym górnym rogu ekranu widnieje wielkie „T” — robot myśli.
Cały system wygląda tak: Claude działa ustawicznie, a wszystko jest ze sobą spięte — gdy kończy zadanie albo czeka na mnie na Macu, mówi o tym robotowi, a ten mi to zakomunikuje. Poza tym robot ma dostęp do Slacka, Stripe oraz całego zestawu CLI i MCP. Ma też własny „drugi mózg” w chmurze, który trzyma na pliku najczęstsze zapytania, żeby odpowiadać szybciej.
Skoro Fable przebudował firmware od podstaw, każdy ekran i każdą reakcję trzeba było zaprogramować osobno. Wszystkie obrazki przypisane do konkretnych emocji stworzyliśmy przez Codex CLI. Samo podniesienie robota wymaga skorelowania trzech rzeczy: stanu emocjonalnego, stanu fizycznego i tego, co urządzenie powinno teraz powiedzieć.
Z muzyką było podobnie. Łatwa część to zauważenie, że cokolwiek gra. Trudna — rozpoznanie, jaka to muzyka, żeby robot mógł ją odpowiednio posortować i zatańczyć. Fable wytrenował go na przebiegach fal dźwiękowych i typowych wzorcach — jak wyglądają fale jazzu, muzyki klasycznej czy muzyki bliskowschodniej.
Po co to wszystko — i co dostajesz
Dla mnie ten projekt nie służył generowaniu wartości biznesowej, choć przyznaję: miło mieć asystenta, który mówi, co mnie dziś czeka, zanim sięgnę po telefon. Chodziło o to, żeby pokazać wam — i sobie — że modele frontierowe nadają się do znacznie więcej niż vibe coding i budowanie softu. Dotykamy tu zaledwie wycinka możliwości: jeśli coś da się podpiąć do laptopa, Fable będzie umiał pomóc. Mam już w drodze drukarkę 3D — i zamierzam poprosić Fable, żeby pomógł mi ją opanować i wskazał najlepsze zastosowania.
Ten materiał mógł spokojnie być wielogodzinnym kursem od początku do końca. Żeby wam ułatwić życie, udostępniam jako open source wszystko, czego użyłem do budowy tego asystenta — możesz zbudować całość albo wybrać pojedyncze elementy na własny projekt. Znajdziesz je, wraz z kilkoma innymi przewodnikami do przekarmienia twojego agenta AI, w drugim linku w opisie.
Wiem, że to nietypowy film jak na mój kanał. Jeśli chcesz więcej praktycznych eksperymentów z prawdziwym sprzętem, daj znać lajkiem i komentarzem. Do zobaczenia w następnym.