O czym jest ten film
- Wprowadzenie do lokalnych modeli językowych: czym są, kiedy naprawdę się przydają (prywatność danych firmowych), a czym zdecydowanie nie są — nie są odpowiednikiem GPT-5.5, Claude’a czy Geminiego.
- Podstawowe pojęcia: parametry (wagi), kwantyzacja (Q4/Q5/Q8 porównana do kompresji MP3), okno kontekstowe oraz realne wymagania sprzętowe — model 7B mieści się w ok. 4 GB na dysku i działa na laptopie z 8 GB RAM.
- Ollama jako „Docker dla modeli lokalnych” — instalacja jedną komendą, biblioteka modeli, uruchamianie przez
ollama run, serwowanie lokalnego API. - LM Studio — graficzna alternatywa dla osób, które nie chcą korzystać z terminala: czat, rozmowa z dokumentami, analiza obrazów, dobór modeli do posiadanego sprzętu.
- Mini-agent Krzysztofa Tutaka: Gemma 4 z własnymi narzędziami (przeglądanie folderów, kalendarz, powiadomienia) zbudowana jako prosta aplikacja na lokalnym API.
- Biznesowe przykłady Krzysztofa Bohaczyka na Bieliku 11B: automatyczne podsumowanie transkrypcji rozmowy sprzedażowej i szkic maila do klienta — w całości offline.
- Pseudonimizacja dokumentów narzędziem Presidio (Microsoft) z zachowaniem możliwości odwrócenia procesu oraz OCR z modelem GLM OCR na przeciętnym sprzęcie.
- Autorska aplikacja typu RAG do zadawania pytań o treść PDF-ów, z podglądem całego przebiegu: embeddingi, fragmenty tekstu, reranking.
- Claude Code spięty z lokalnym GLM 4.7 Flash: skill, który sam robi backup, ocr-uje, nazywa i sortuje dziesiątki faktur oraz umów; dodatkowo integracja Ollamy z n8n.
- Obszerna sesja pytań i odpowiedzi: vLLM kontra Ollama na produkcji, VRAM i pamięć podręczna kontekstu, okno kontekstowe powyżej domyślnych 4K tokenów, modele mowy, wynajem GPU, oferta społeczności AI Ninjas.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Do prostych, wrażliwych zadań chmura to armata na muchę
Na czym polega: Do streszczania dokumentów, OCR, anonimizacji czy szkiców maili nie potrzebujesz najmocniejszych modeli chmurowych. Płacisz w nich tokenami za możliwości, których nie wykorzystujesz, a przy danych wrażliwych dodatkowo ryzykujesz wyciek.
Jak stosować: Zrób przegląd swoich codziennych zadań z asystentem AI i wyznacz te, które dotyczą danych, które nie powinny opuszczać twojego komputera (umowy NDA, faktury, skany dokumentów). Te przenieś na model lokalny.
Na co uważać: Nie oczekuj jakości odpowiedzi znanej z GPT-5.5 czy Claude’a. Do złożonego rozumowania i programowania nadal lepsze będą modele chmurowe.
2.Start z Ollama zajmuje kilka minut
Na czym polega: Ollama to otwarte oprogramowanie działające jak menedżer modeli — prowadzący porównali je do Dockera dla lokalnych modeli. Jedna komenda instaluje narzędzie, druga pobiera i od razu uruchamia model.
Jak stosować: Zainstaluj Ollama ze strony projektu (instalator lub jedna komenda), wejdź na stronę z biblioteką modeli, wybierz model i odpal go poleceniem ollama run <nazwa>. Przydatne komendy: ollama list (zainstalowane modele) i ollama serve (wystawienie lokalnego API).
Na co uważać: Domyślnie Ollama rezerwuje pamięć statycznie, z kontekstem zaledwie 4K tokenów. Przed poważniejszą pracą zwiększ okno kontekstowe przez parametry API, zmienną środowiskową w kontenerze albo ustawienia klienta.
3.LM Studio — to samo, ale dla osób niedetektywnych… znaczy: nietechnicznych
Na czym polega: LM Studio daje pełny interfejs graficzny: czat, wyszukiwarkę modeli, panel parametrów, wbudowaną rozmowę z dokumentami i serwer API. Dodatkowo podpowiada, które modele zmieszczą się na twoim sprzęcie.
Jak stosować: Pobieraj modele oznaczone jako mieszczące się w pamięci karty graficznej, testuj różne warianty kwantyzacji i obserwuj licznik tokenów na sekundę. Zakładka „czat z plikami” pozwala robić prosty RAG bez pisania kodu.
Na co uważać: Ollama i LM Studio to narzędzia deweloperskie — nie na produkcję. Przy wielu użytkownikach potrzebujesz vLLM albo SGLang.
4.Kwantyzacja to kompromis między jakością a rozmiarem
Na czym polega: Oznaczenia Q4, Q5, Q8 to kompresja wag modelu — analogicznie jak kompresja muzyki do MP3. Mocniejsza kompresja zmniejsza plik i wymagania sprzętowe, ale obniża jakość odpowiedzi.
Jak stosować: Zacznij od umiarkowanej kwantyzacji (Q4/Q5) — zwykle daje dużą oszczędność pamięci przy niewielkiej stracie jakości. Delikatna kompresja bywa niemal bezstratna.
Na co uważać: Silnie skwantyzowane modele potrafią być wyraźnie głupsze — w demie Nemotron 4B o rozmiarze ok. 2 GB odpisywał bzdury. Testuj przed wdrożeniem.
5.Model lokalny nie ma dostępu do niczego, dopóki nie dasz mu narzędzi
Na czym polega: Sam model to tylko „mózg”. Jeśli chcesz, żeby czytał foldery, zakładał wydarzenia w kalendarzu czy wysyłał powiadomienia, musisz mu te możliwości opisać i udostępnić przez własną aplikację.
Jak stosować: Zbuduj prostą aplikację (np. webową), w której definiujesz narzędzia — na przykład „wypisz zawartość folderu” — i łączysz je z modelem przez lokalne API. Narzędzia opisz precyzyjnie, dodaj system prompt określający, jak model ma ich używać.
Na co uważać: Mały model działa niestabilnie — raz wykona polecenie, innym razem popełni literówki albo nie zrozumie. Im więcej parametrów, tym pewniejszy rezultat.
6.Rozmowy z klientami możesz analizować w pełni offline
Na czym polega: Bielik 11B serwowany lokalnie potrafi z surowej transkrypcji rozmowy sprzedażowej wygenerować raport: branża, osoby kontaktowe, cel rozmowy, potrzeby, sygnały budżetowe, osoby decyzyjne, ryzyka i rekomendacje. Na tej podstawie drugi asystent pisze szkic maila do klienta.
Jak stosować: Nagrywaj i transkrybuj rozmowy, wrzucaj tekst do lokalnego asystenta i generuj podsumowania oraz follow-upy bez wysyłania czegokolwiek na zewnątrz.
Na co uważać: Jakość maila mocno zależy od promptu — dodaj szablon, zasady copywritingu i przykłady. Uważaj też na znany błąd Open WebUI z przekazywaniem plików: bezpieczniej wkleić treść bezpośrednio jako tekst.
7.Anonimizacja z możliwością odwrócenia procesu
Na czym polega: Presidio od Microsoftu maskuje dane osobowe (imiona, PESELE, telefony, adresy IP, karty płatnicze) w trzech krokach: wykrycie encji, zapisanie mapy podstawień, zamaskowanie tekstu. Dzięki mapie można później przywrócić oryginalne wartości.
Jak stosować: Zamaskuj dokument lokalnie, wyślij bezpieczną wersję do chmurowego modelu, a odpowiedź z powrotem rozmaskuj lokalnie. Skuteczność w polskim zwiększysz, dokładając własne zbiory danych z odmianami imion i nazwisk.
Na co uważać: Formalnie to pseudonimizacja, nie anonimizacja — mapa podstawień pozwala odtworzyć dane, więc trzeba ją chronić. Testowany przez prowadzącego model „Privacy Filter” od OpenAI radził sobie po polsku znacznie gorzej.
8.Licz nie tylko rozmiar modelu, ale i pamięć podręczną kontekstu
Na czym polega: W pamięci karty muszą zmieścić się trzy rzeczy: sam model, środowisko uruchomieniowe i cache kontekstu. Przy dużym oknie (128K–256K) cache może zająć tyle, co drugie tyle miejsca co wagi.
Jak stosować: Zanim kupisz lub skonfigurujesz sprzęt, policz łączną potrzebę pamięci dla planowanego okna kontekstowego, a nie tylko rozmiar pliku modelu.
Na co uważać: Gdy model nie mieści się w VRAM, część obliczeń spada na procesor i inferencja zwalnia nawet 10–50 razy. Przykład z czatu: Llama 3 70B na RTX 3090 i 64 GB RAM działała z prędkością 2,5 tokenu na sekundę — możliwe, ale niepraktyczne.
9.Claude Code może pracować na lokalnym modelu
Na czym polega: GLM 4.7 Flash (19 GB) serwowany przez Ollamę został podpięty do Claude Code jako backend. Agent dostał skilla, który robi backup, ocr-uje kilkadziesiąt dokumentów, nazywa je według wzorca (data, numer, kontrahent) i sortuje na faktury oraz umowy.
Jak stosować: W ustawieniach Claude Code wskaż lokalny model jako API. Proste, powtarzalne zadania deleguj lokalnie, a chmurę zostaw na trudniejsze.
Na co uważać: Sam system prompt Claude’a Code z narzędziami zajmuje ok. 21 tys. tokenów, więc realne minimum to okno 32K. Sprawdź też, czy model obsługuje wymagany format narzędzi — Bielik z powodu parsera XML wymaga vLLM, bo Ollama go nie wspiera.
10.Na produkcję vLLM, nie Ollama
Na czym polega: vLLM ma batchowanie i równoległe przetwarzanie zapytań, dzięki czemu przy wielu użytkownikach zawsze wygra z Ollamą. Ollama i LM Studio (bazujące na llama.cpp) są do testów i developmentu.
Jak stosować: W firmie postaw vLLM w kontenerach (osobny na każdy model), a przed nim reverse proxy z load balancerem. Dodaj walidację wejścia i wyjścia, guardrale oraz automatyczną anonimizację — żeby pracownik przypadkiem nie wrzucił danych objętych RODO.
Na co uważać: Przy jednym GPU i wielu użytkownikach w końcu trafisz na ścianę — wtedy trzeba dokładać karty graficzne.
Redakcyjne tłumaczenie
Wprowadzenie: gospodarze i plan wieczoru
Kolejne spotkanie warsztatowe cyklu AI Ninjas, prowadzone przez dwóch Krzysztofów. Krzysztof Tutak ma ponad dziesięć lat doświadczenia w programowaniu, specjalizuje się w DevOpsie, prowadzi podcast „Bliskie Spotkania z AI” i współorganizuje konferencję AI Miners. Krzysztof Bohaczyk jest programistą fullstack w branży finansowej i współtwórcą AI Ninjas — społeczności, w której od ponad pół roku przekazują wiedzę o sztucznej inteligencji w możliwie przystępny sposób.
Tematem wieczoru są lokalne modele: czym są, jak je uruchomić na własnym sprzęcie i co w praktyce z nich wyciągnąć. W programie — wprowadzenie teoretyczne, potem dema: Gemma 4, polski Bielik, przypadki biznesowe i sesja pytań. Prowadzący uprzedzają z humorem, że sami działają dziś na modelach lokalnych, więc odpowiedzi mogą schodzić wolniej, a halucynacje zdarzać się częściej.
Dlaczego lokalnie: prywatność i armata na muchę
Każdy, kto korzysta z chatu GPT, Claude’a czy Geminiego, zna moment zawahania: czy mogę wrzucić ten dokument do czatu? Chodzi o umowy NDA, faktury klientów, skany dowodów — rzeczy, które nie powinny opuszczać twojego komputera. W codziennej pracy z AI takie wahanie zaczyna kosztować: albo ryzykujesz, albo rezygnujesz z narzędzia. Trzecia droga to modele lokalne — i to nimi zajęli się prowadzący.
Druga obserwacja: modele chmurowe typu GPT-5.5 czy Claude 4.7 (Sonnet i Opus) są znakomite, ale ludzie często katują je na najwyższych ustawieniach do banalnych zadań, przepalając tokeny — czyli realne pieniądze z subskrypcji albo rozliczeń API. Do wielu codziennych prac wystarczy znacznie mniejszy model, który spokojnie zadziała na laptopie albo firmowym serwerze. Tę tezę warsztat miał udowodnić w praktyce.
Czym jest lokalny model — i czym nie jest
W największym skrócie: lokalny model to plik na twoim dysku, uruchamiany na twoim sprzęcie. Nie wymaga subskrypcji, nie ma ukrytych kosztów. Płacisz za zasoby — prąd, RAM, kartę graficzną — ale nie za tokeny, jak w modelach chmurowych. Przykładami są Gemma 4 od Google oraz Qwen 3, udostępnione na otwartych licencjach (m.in. Apache 2.0): pobierasz i używasz bez limitów. Realia sprzętowe są skromne — model o 7 miliardach parametrów zajmuje około 4 GB na dysku i uruchomi się na laptopie z 8 GB RAM. Trzeba jednak pamiętać o karcie graficznej, bo to właśnie ona potrafi stać się wąskim gardłem.
Parametry, zwane też wagami, to miara „pojemności” modelu: im więcej parametrów, tym model sprawniejszy, ale tym więcej zasobów pochłania. Drugie kluczowe pojęcie to kwantyzacja — oznaczenia Q4, Q5, Q8, które spotkasz przy modelach lokalnych. To kompresja wag modelu, dokładnie taka sama w duchu jak kompresja muzyki do MP3 czy obrazu do formatu stratnego: im mocniejsza kompresja, tym mniejszy plik i niższe wymagania, ale tym większa strata jakości. Delikatna kwantyzacja bywa niemal bezbolesna, więc warto ją stosować — z głową.
Uczciwie trzeba też powiedzieć, czym lokalny model nie jest. Nie jest odpowiednikiem GPT-5.5, Claude’a czy Geminiego — te pozostają znakomite przy programowaniu i zadaniach wymagających głębszego rozumowania. Nie jest też wszechwiedzący: wiedza kończy się na dacie treningu. Natywnie nie ma dostępu do internetu, choć można to obejść własnymi integracjami. Za to tam, gdzie liczy się prywatność, modele lokalne są znakomitym wyborem, bo dane nie wychodzą na obce serwery. Istnieją jeszcze parametry typu temperatura, top-k czy okno kontekstowe — ale to temat na osobną rozmowę.
Na czacie pojawiła się ciekawostka: każdy, kto ma przeglądarkę Chrome, ma już lokalny model. (Informacja dodatkowa: Chrome ma wbudowany mały model Gemini Nano, dostępny lokalnie, m.in. dla deweloperów.) Inny widz wspominał próbę uruchomienia lokalnego modelu, przy której generowanie jednego słowa zajmowało minutę — prowadzący uspokajają, że dużo zależy od rozmiaru modelu i sprzętu.
Ollama, czyli Docker dla modeli lokalnych
Pierwsze narzędzie na start to Ollama — otwarte oprogramowanie, którego kod można podejrzeć, umożliwiające uruchamianie dużych modeli językowych na własnym komputerze, bez serwera i bez chmury. Działa jak menedżer modeli i środowisko wykonawcze: pozwala pobierać, konfigurować i spiąć modele z własnymi aplikacjami. Dla osób technicznych najlepsze porównanie: Ollama jest jak Docker dla modeli — pozwala błyskawicznie stawiać je do testów.
Instalacja sprowadza się do jednej komendy lub aplikacji desktopowej. Po wpisaniu w terminalu ollama dostajemy wersję i opcje — między innymi czatowanie z modelami oraz integrację z narzędziami takimi jak Claude Code. ollama help pokazuje pełną listę poleceń, a ollama list — modele zainstalowane na komputerze (w demie: modele embeddingowe do RAG-ów, Gemma, Qwen i Llama od Mety). Nowe modele znajduje się w bibliotece na stronie Ollamy — jest ich mnóstwo, sortowane od najpopularniejszych po najnowsze. Wystarczy wejść w konkretny model (na przykład Phi-4 od Microsoftu) i odpalić widoczną komendę ollama run, która pobiera model i od razu go uruchamia.
Pierwsze rozmowy: Gemma 4 w terminalu
W demie na ekranie poszła Gemma 4 w wariancie E4B. Po zadaniu pytania model najpierw pokazuje proces myślenia — analizuje, zanim odpowie, co wydłuża czekanie. Ten tryb można zresztą wyłączyć w parametrach, by przyspieszyć odpowiedzi. Po polsku model radzi sobie bardzo dobrze — pytanie o Adama Mickiewicza zaowocowało solidną odpowiedzią o polskim romantyzmie. Wariant E4B (4 miliardy parametrów) to model typowo sprzętowy, przeznaczony do maszyn z 16 GB RAM; jest też mniejsza wersja E2B (2 miliardy), celująca w jeszcze słabsze urządzenia, IoT czy smart home. Całość działała na MacBooku z procesorem M3 i 16 GB pamięci. Jak żartował prowadzący, lokalne modele w trybie myślenia zachowują się jak introwertycy — najpierw długo się zastanawiają.
LM Studio — to samo, ale z interfejsem
Dla osób, które terminal traktują jak zło konieczne, jest LM Studio: aplikacja desktopowa pełniąca tę samą rolę, ale z graficznym interfejsem i wbudowanymi narzędziami. Po lewej stronie czaty z historią rozmów, dalej zakładka deweloperska do wystawiania serwera API oraz przeglądarka modeli — od Google, NVIDII, Qwen czy Mistrala. Najbardziej przydatna funkcja: program sam pokazuje, które warianty zmieszczą się w pamięci twojej karty graficznej — te oznaczone na zielono po prostu będą działać płynnie.
LM Studio pozwala też rozmawiać z dokumentami: wrzucasz pliki, aplikacja je indeksuje i nie potrzebujesz żadnych dedykowanych narzędzi do RAG-a. W teście model analizował logo AI Ninjas — wyczytał tekst, rozpoznał, że to symbol, i próbował wnioskować, co przedstawia. Po prawej stronie ekranu czeka ponad setka parametrów do dostrojenia, w tym system prompt nadający modelowi charakter. Na dole widać prędkość generowania tokenów (jednostkę tę można z grubsza porównywać do sylab). Dla kontrastu pokazano Nemotrona 4B — silnie skwantyzowany, ważący niecałe 2 GB model, który na prośbę o prosty program odpisał bez sensu: dobry przykład tego, jak kwantyzacja obniża jakość. Gemma wypadła na jego tle znacznie lepiej — ładnie pisze po polsku, ma tryb widzenia (analizuje obrazy) i również myśli przed odpowiedzią. Modele z LM Studio, tak jak z Ollamy, można serwować przez API do własnych aplikacji — dokumentacja opisuje to krok po kroku.
Mini-agent: gdy model dostaje narzędzia
Krzysztof Tutak przygotował na needs of warsztatu prostą aplikację webową: Gemma 4 z zestawem narzędzi. Taki agent potrafi czytać pliki i foldery, wysyłać powiadomienia, dodawać wydarzenia do kalendarza i odpowiadać naturalnym językiem. W demie padło polecenie: „wylistuj pięć rzeczy z pulpitu” — model skorzystał z narzędzia do przeglądania folderów i zwrócił konkretne nazwy plików (w tym zrzut ekranu).
Najważniejsza lekcja: sam model lokalny nie ma dostępu do niczego — do dysku, kalendarza czy aplikacji — dopóki nie dostarczysz mu narzędzi. Cała „moc” agenta pochodzi z tego, co mu opiszesz i udostępnisz. Pod spodem jest zwykły projekt kodowy: system prompt z instrukcjami, definicje narzędzi i zapytania przez API do lokalnie serwowanej Ollamy (ollama serve). Trzeba liczyć się z tym, że mały model działa kapryśnie — raz mu wyjdzie, raz nie, zdarzają się literówki. Do prostych akcji, jak odnalezienie faktur w folderze i ich analiza, w zupełności wystarczy. Kod projektu twórcy obiecali w materiałach bonusowych.
Bielik w akcji: od transkrypcji do maila
Część biznesową przejął Krzysztof Bohaczyk. Pierwszy przypadek: masz nagranie rozmowy z klientem i jej transkrypcję, a chcesz na szybko mieć analizę i podsumowanie. Temat idealny dla modeli lokalnych, bo w takich rozmowach padają konkretne informacje o firmie klienta, które nie powinny trafiać na zewnątrz.
Do testu posłużyła przygotowana wcześniej, fikcyjna transkrypcja. Asystent oparty o Bielika 11B, serwowany w domowym homelabie, wygenerował z niej schludny raport: dane klienta z branży logistyczno-transportowej, osoby kontaktowe, kontekst i cel rozmowy (automatyzacja trzech procesów: fakturowania, raportów tygodniowych i zarządzania danymi floty), zidentyfikowane potrzeby i bolączki, zainteresowanie konkretnymi usługami (automatyzacja faktur, OCR, AI), wzmianki o budżecie, kluczowe osoby decyzyjne (zarząd odbierający raporty, menedżer operacyjny, pracownica wprowadzająca faktury), ryzyka, wyraźne sygnały oraz ocenę dopasowania oferty z rekomendacjami. (Informacja dodatkowa: Bielik to rodzina polskich modeli językowych trenowanych przez SpeakLeash, zoptymalizowanych m.in. pod język polski.)
Na tym się nie skończyło: kolejny asystent, również na Bieliku, dostał zlecenie napisania maila do klienta na podstawie analizy i transkrypcji. Wyszło całkiem przyzwoicie — „mamy konkretny plan działania dla wszystkich trzech procesów, szczegółową ofertę prześlemy do końca tygodnia, MVP dla faktur będzie gotowe za dwa, trzy tygodnie”. Warto podkreślić: prompt był celowo niechlujny, bez przykładów i wytycznych — a mimo to wynik był użyteczny. Z szablonem, zasadami copywritingu i przykładowymi mailami jakość skoczyłaby wyraźnie w górę. Drobiazg techniczny: w Open WebUI bywają problemy z przekazywaniem plików do kontekstu (znany błąd zgłoszony na GitHubie) — gdy zamiast pliku wklei się treść bezpośrednio jako tekst, wszystko działa.
Anonimizacja dokumentów, którą da się odwrócić
Kolejny częsty problem firmowy: dane objęte RODO, które trzeba zanonimizować, zanim cokolwiek pójdzie do chmury. Do tego służył asystent anonimizacji, oparty o Presidio — bibliotekę Microsoftu, która według prowadzącego świetnie radzi sobie z polskim i angielskim. Na przykładzie raportu kontaktowego działu sprzedaży model zamaskował imiona i nazwiska, numery telefonów, adresy IP, a nawet numer karty kredytowej wraz z datą ważności i adresy URL.
Formalnie mówimy o pseudonimizacji — maskowaniu, które da się odwrócić. I to jest najciekawsze: proces składa się z trzech etapów. Najpierw wykrywane są encje (PESEL, imię, adres mailowy itd.), potem powstaje mapa, która łączy oryginalne wartości z zastępczymi, a dopiero na końcu tekst jest maskowany. Dzięki tej mapie można wysłać bezpieczną wersję do chmury (na przykład do Geminiego czy Claude’a), a po otrzymaniu odpowiedzi lokalnie przywrócić oryginalne dane. Skuteczność da się podbić, dokładając własne zbiory danych językowych — polski dataset pozwala wyłapywać odmiany imion (Krzysztofowi, Krzysztofa i tak dalej). Na marginesie: OpenAI wydała własny model do tego celu, „Privacy Filter”, ale w pierwszych testach radził sobie po polsku wyraźnie gorzej niż Presidio.
OCR na słabym sprzęcie
Trzeci przypadek: odczytywanie treści ze skanów faktur i dokumentów. Do tego posłużył model GLM OCR, który przyjmował obrazy PNG (przy PDF-ach wystarczy dorobić funkcję konwertującą je na grafikę). Całość działała płynnie na notebooku z kartą RTX 3060 — przeciętnym sprzęcie, z dala od topowych konstrukcji. Ładowanie modelu do RAM-u zajmuje chwilę, ale samo rozpoznawanie tekstu idzie sprawnie. Wcześniejsze testy prowadzącego pokazały zresztą, że małe modele lokalne dobrze radzą sobie z odczytem danych z dokumentów o prostej strukturze, jak faktury.
PDF RAG z podglądem, co dzieje się pod spodem
Następnie pokazano autorską aplikację zbudowaną do testowania Gemmy 4 E4B: użytkownik wgrywa dokument PDF, wybiera strony, model embeddingowy i rozmiary fragmentów (chunków), a historia rozmów jest zapisywana. Test przeprowadzono na umowie. Na pytanie, co zawiera dokument, aplikacja wskazała fragmenty regulujące warunki finansowe, zakres prac, poufność i przetwarzanie danych osobowych. Pytanie o wystawcę umowy zakończyło się porażką, ale pytanie o wynagrodzenie — precyzyjną odpowiedzią: 248 000 zł ryczałtu dla wykonawcy, z podziałem na etapy. Wniosek: różnie bywa, a wyniki wymagają dopracowania konfiguracji.
Najciekawsza była jednak funkcja podglądu pełnego przebiegu zapytania. Widać w niej, że zanim pytanie trafia do Gemmy, model embeddingowy przeszukuje bazę i wybiera te fragmenty tekstu, które najlepiej pasują do pytania. Dopiero one — razem z system promptem typu „jesteś asystentem analizującym dokumenty, odpowiadaj na podstawie dostarczonego kontekstu” — lecą do modelu językowego, który formułuje odpowiedź. Na poziomie takiego prostego RAG-a można konfigurować liczbę zwracanych fragmentów oraz reranking, czyli decydowanie, które kawałki są ważniejsze, żeby nie wrzucać do modelu wszystkiego naraz.
Claude Code na lokalnym GLM: wielkie porządki w dokumentach
Później Bohaczyk pokazał najambitniejsze demo wieczoru. Model GLM 4.7 Flash, zajmujący 19 GB — czyli więcej, niż ma jego karta graficzna — został załadowany do pamięci operacyjnej i serwowany przez Ollamę jako backend dla Claude Code. (Informacja dodatkowa: Claude Code to terminalowy asystent programistyczny od Anthropic.)
Agent dostał tzw. skilla — instrukcję opisującą cały proces — oraz folder z około 30–40 dokumentami: fakturami, umowami, PDF-ami i grafikami o przypadkowych nazwach typu „archiwum” czy „arkusz 3”. Zadanie: najpierw zrób backup wszystkiego, potem wypisz listę plików, każdy przepuść przez OCR (przy PDF-ach konwertując je na obrazy przygotowanym wcześniej skryptem pythonowym z GLM OCR), następnie nazwij pliki według wzorca — data, numer faktury, kontrahent, z zachowaniem oryginalnego rozszerzenia — i posegreguj do folderów „faktury” oraz „umowy”.
Proces miał zająć 15–20 minut; w trakcie sesji Q&A agent działał już ponad 50 minut, po drodze sam naprawiając własne błędy — na przykład gdy okazało się, że skrypt OCR nie przyjmuje PNG, tylko JPG, podmienił format wejściowy. Dobre pokazanie zarówno możliwości, jak i ograniczeń: lokalny agent z dużym modelem daje radę, ale wymaga cierpliwości.
n8n + Ollama: automatyzacja bez chmury
Ostatnia integracja: narzędzie n8n postawione całkowicie lokalnie. (Informacja dodatkowa: n8n to platforma do budowania automatyzacji typu low-code, łącząca kolejne kroki jak klocki.) Wystarczyły trzy bloczki: czat, podstawowy łańcuch rozmowy z modelem (Basic LLM Chain) oraz natywny węzeł Ollama. Konfiguracja sprowadza się do utworzenia poświadczenia: wpisujesz adres localhost:11434 — domyślny port serwera Ollamy, łatwy do sprawdzenia komendą ollama serve — i nie podajesz żadnego klucza API. Po chwili w rozwijanej liście pojawiają się wszystkie modele zainstalowane lokalnie.
Materiały bonusowe i społeczność AI Ninjas
Po warsztacie uczestnicy dostają maila z bonusem: notatkę w Notion z instrukcjami krok po kroku (instalacja Ollamy i LM Studio, integracja z aplikacjami) oraz otwartoźródłowy projekt mini-agenta dopasowany do Gemmy, z możliwością wysyłania zdjęć i dokumentów.
Sama społeczność AI Ninjas działa od stycznia: co dwa tygodnie warsztaty z zapraszanymi na żywo ekspertami i biblioteka nagrań (m.in. drugi mózg w Obsidianie, generowanie leadów z LinkedIn przy pomocy Claude Code i Obsidiana, sprzedaż aplikacji z AI w Lovable z Wojtkiem Woźniakiem, scraping z Claude Code, wykorzystanie LLM na produkcji i zabezpieczanie go, spec-driven development, automatyzacje z Google Apps Script). Do tego mini-kursy — od fundamentów pracy z modelami, przez budowanie aplikacji w Cursorze i Lovable, po poświęcony lokalnym modelom kurs wyjaśniający pojęcia, optymalizacje i stawianie własnych asystentów — oraz biblioteka gotowych procedur: prompty, skille, automatyczny responder Gmaila na Bieliku, agent do badania konkurencji, instrukcje testowania konfiguracji i temperatur. Jest też „Arsenał Ninja” z poleconymi narzędziami i forum dyskusyjne.
Cennik: w promocji do 17 maja do 23:59 pakiet podstawowy kosztuje 99 zł miesięcznie (standardowo 149 zł), z możliwością rezygnacji w każdej chwili. Wyższe plany dodają roczny dostęp do Perplexity Pro oraz godzinę konsultacji indywidualnych w miesiącu; przy planie rocznym („czarny pas”) są jeszcze grupy mentoringowe ze spersonalizowanym planem wdrożenia AI.
Sesja pytań i odpowiedzi
Dlaczego Bielik na vLLM, a nie na Ollamie? Bielik korzysta z parsera XML, którego Ollama nie obsługuje — jedynym sensownym sposobem serwowania okazał się vLLM. Ogólna zasada: Ollama i LM Studio to rozwiązania deweloperskie, na produkcję wybiera się vLLM albo SGLang. Warto wiedzieć, że pod spodem Ollama i LM Studio bazują na llama.cpp.
Czy anonimizację da się odwrócić i jak z innymi językami? Tak — dzięki mapie podstawień z kroku drugiego można po powrocie odpowiedzi z chmury lokalnie przywrócić oryginalne dane. Presidio pozwala dociągać zbiory dla kolejnych języków i tym samym podnosić skuteczność.
Czy któryś model czyta ekran? Można zbudować rozwiązanie samemu: modele z rozumieniem obrazu plus zrzuty ekranu robione co minutę, które są opisywane. Gotowych lokalnych rozwiązań typu udostępnianie ekranu w czasie rzeczywistym prowadzący nie zna — chmurowe istnieją u OpenAI i Google.
Analiza danych napływających w czasie rzeczywistym? Możliwa, ale wymaga zbudowania całego workflow: spięcia źródła danych, przetwarzania i wykrywania wzorców — to podejście bliższe IoT-owi, z rozwiązaniami choćby w AWS czy Azure.
Co przy 8 GB VRAM? Pytanie zbyt ogólne — sprzęt dobiera się pod zastosowania (czat, grafika, audio, wideo), a nie na odwrót. Prowadzący ma dwie karty — RTX 4070 Ti Super z 16 GB oraz mobilną RTX 3060 z 6 GB — i rozkłada obciążenie między nie.
Lokalne grafiki? Na jednym z warsztatów pokazano ComfyUI oraz model graficzny Flux — nagranie dostępne na kanale.
Model na dysku zewnętrznym? Da się, ale wolny transfer na drodze dysk → RAM → VRAM spowalnia inferencję.
Claude Code z lokalnym modelem? Da radę, z zastrzeżeniami: sam system prompt z narzędziami to około 21 tys. tokenów, więc zalecane minimum to okno 32K. Do tego w pamięci musi się zmieścić środowisko uruchomieniowe, model i cache kontekstu — Ollama alokuje pamięć statycznie, domyślnie tylko 4K tokenów, i zmiana okna (przez parametr API, zmienną środowiskową w Dockerze albo ustawienia Open WebUI) zwiększa zapotrzebowanie na RAM. Bywa, że model ważący 20–30 GB przy oknie 128–256K potrzebuje drugie tyle na samą pamięć podręczną; vLLM alokuje ją dynamicznie.
Wielu użytkowników w sieci lokalnej? Open WebUI i LM Studio to klienci komunikujące się z serwerem — równoległość trzeba zapewnić samemu. vLLM ma wbudowane batchowanie i równoległe przetwarzanie zapytań, można też postawić kilka kontenerów, każdy z innym modelem (na pokazanej maszynie wirtualnej działał właśnie tak Bielik 11B). Przy jednym GPU w końcu brakuje mocy — wtedy dochodzą kolejne karty, reverse proxy z load balancerem, walidacja wejścia i wyjścia, guardrale oraz automatyczna anonimizacja, żeby ktoś z zespołu przypadkiem nie wrzucił danych objętych RODO.
Modele do dźwięku i mowy? Do transkrypcji nagrań: Whisper od OpenAI albo Parakeet od NVIDII — oba lokalne. Do rozmowy głosowej z asystentem: ElevenLabs albo ekosystemy Google i OpenAI; do dyktowania przydaje się np. aplikacja Superwhisper, którą można przetwarzać lokalnie.
GPU czy procesor? Jeśli w komputerze jest karta graficzna, domyślnie to na nią lecą obliczenia (w kontenerach trzeba doinstalować odpowiedni toolkit). Gdy model się nie mieści, część trafia na procesor — i inferencja zwalnia 10, 20, a nawet 50 razy.
vLLM a llama.cpp na ograniczonych zasobach? Różnica jest konstrukcyjna: vLLM ma batchowanie i równoległość, więc przy wielu użytkownikach zawsze wygra. Przy jednym użytkowniku różnica jest mniejsza.
Model większy niż VRAM? Ollama obsługuje tryb hybrydowy — część wag na karcie, część na procesorze. GLM 4.7 Flash (19 GB) na 16-gigabajtowej karcie działał, ale wyraźnie wolniej. Z czatu padł przykład: Llama 3 70B na RTX 3090 i 64 GB RAM — 2,5 tokenu na sekundę. Da się, ale nie polecamy.
Co dalej w temacie? Prowadzący uczciwie przyznają, że to był wstęp — bez „rocket science”. Lokalne modele pokazują pazur dopiero po dostrojeniu do konkretnej branży (na przykład finansowej czy prawnej) i połączeniu z RAG-iem; bez tego sprawdzają się w prostych zadaniach. Na przyszłość zapowiedziano m.in. kwantyzację (także pamięci KV cache), formaty plików GGUF i GGML, precyzje wag (FP32, BF16), oznaczenia typu Q4_K_M, alokację pamięci w poszczególnych środowiskach uruchomieniowych, różnice między parserami (JSON a XML) i szablonami czatu w formacie Jinja, a także kwestie sprzętowe — zunifikowaną pamięć kontra RAM plus VRAM i jak w ogóle dobierać maszynę pod lokalne modele. Wbrew głosom z czatu, że przykłady były „niewbiznesowe” — analiza rozmowy z klientem, szkic maila, anonimizacja czy OCR to czynności wykonywane w firmach codziennie.
Cięższe zadania i wideo. Do okazjonalnych, mocnych obliczeń prowadzący wynajmuje GPU na RunPodzie w modelu serverless — płaci się za samo przetwarzanie i storage. (Informacja dodatkowa: RunPod to platforma wynajmu mocy obliczeniowej GPU, rozliczana za użycie.) Przy generowaniu wideo odpala ComfyUI na karcie H200: z przygotowanym wcześniej storyboardem potrafi w godzinę wygenerować 100–150 klipów i wybrać najlepsze — wychodzi to wyraźnie taniej niż serwisy typu Higgsfield czy Freepik, gdzie płaci się tokenami za każdą obróbkę.
Na koniec — zachęta do subskrypcji, wypełniania ankiet (to w nich wygrały tematy Obsidian i lokalnych modeli) i do zobaczenia za miesiąc, na kolejnym warsztacie.