Ile pamięci naprawdę potrzebuje lokalne AI?

O czym jest ten film

1. Lokalne modele rzadko są „głupie” — najczęściej są źle skonfigurowane. Najczęstszy błąd: za krótki kontekst. Ollama przy mniej niż 24 GB VRAM domyślnie przydziela 4 tys. tokenów, a narzędzia agentowe potrzebują co najmniej 64 tys.
2. Jedna prosta reguła rozmiaru: model skwantyzowany do 4 bitów zajmuje około 0,6 GB na każdy miliard parametrów — plus zapas na kontekst.
3. Pułapka Maców: macOS domyślnie oddaje układowi graficznemu około trzech czwartych pamięci. Mac z 16 GB to realnie ~12 GB dla modelu, z 128 GB — 96–107 GB.
4. Cztery progi pamięci: 8–16 GB (małe modele do tłumaczeń i streszczeń), 24–32 GB (optymalny poziom dla modeli klasy 27B), 64 GB (ten sam model, ale z długim kontekstem i wyższą jakością), 128 GB (modele ponad 100 mld parametrów).
5. Powyżej 128 GB (Mac Studio z 256 lub 512 GB) każdy krok w górę daje tylko odrobinę inteligencji — opłaca się wyłącznie, gdy dane nie mogą opuścić budynku albo z jednej maszyny korzysta wiele osób.
6. Modele typu „mieszanka ekspertów” (MoE) potrafią działać kilkukrotnie szybciej od mniejszych modeli gęstych, bo przy każdym tokenie aktywna jest tylko część parametrów — ale cały plik i tak musi zmieścić się w pamięci.
7. Oprogramowanie robi ogromną różnicę: ta sama maszyna i ten sam model przyspieszyły prawie trzykrotnie po samej zmianie programu i formatu pliku.
8. Realne zastosowania potwierdzone przez społeczność: analiza prywatnych dokumentów, nocne zadania masowe, domowe finanse, opisywanie biblioteki wideo oraz schemat „chmura planuje, lokalny model wykonuje”.
9. Słabe strony: agent kodujący na dużym projekcie, małe modele 9B w roli agentów oraz kwantyzacja poniżej 4 bitów, która psuje wywoływanie narzędzi.
10. „Lokalnie” nie znaczy „bezpiecznie”: skan internetu znalazł tysiące serwerów Ollamy otwartych na świat bez hasła. Ryzyko zależy nie od tego, gdzie działa model, lecz od tego, do czego może sięgnąć.

10 najważniejszych takeaways — z kontekstem zastosowania

1.Agent bez długiego kontekstu nie ruszy — ustaw minimum 64 tys. tokenów

Na czym polega: Na maszynach z mniej niż 24 GB VRAM Ollama domyślnie daje tylko 4 tys. tokenów kontekstu. Tymczasem sama obecność w narzędziu agentowym zjada 5–30 tys. tokenów na własnych instrukcjach — zanim cokolwiek napiszesz, pamięć już się skończyła.

Jak stosować: Przed podłączeniem agenta wejdź w ustawienia aplikacji i przesuń suwak kontekstu do co najmniej 64 tys. tokenów. To pierwsza rzecz do sprawdzenia, gdy lokalny model „gubi wątek”.

Na co uważać: Dłuższy kontekst zużywa dodatkową pamięć — najpierw upewnij się, że model i okno kontekstu zmieszczą się razem.

2.Reguła 0,6 GB na miliard parametrów

Na czym polega: Model w kwantyzacji 4-bitowej zajmuje około 0,6 GB na każdy miliard parametrów: 9B to ~5,7 GB, 27B to ~16,5 GB, 35B to ~22 GB. Reguła zgadza się z plikami na Hugging Face.

Jak stosować: Zanim pobierzesz model, pomnóż liczbę parametrów przez 0,6 i porównaj wynik z realnie dostępną pamięcią — na Macu z odliczoną czwartą częścią.

Na co uważać: To rozmiar samego pliku. Do tego dochodzi kontekst i narzuty agenta. Wersje rozprowadzane przez Ollamę bywają większe od bazowych — zawsze sprawdzaj stronę pobierania.

3.Na Macu planuj na trzy czwarte pamięci

Na czym polega: macOS domyślnie pozwala grafice korzystać z ok. 75% pamięci (16 GB → ~12 GB; 128 GB → 96–107 GB). Limit da się podnieść komendą z dokumentacji MLX, ale po restarcie systemu wraca domyślny.

Jak stosować: Przy każdym wyliczeniu odejmij czwartą część zasobu i w ten budżet wpisuj model plus kontekst. Dopiero potem decyduj o zakupie.

Na co uważać: Na mniejszych Macach odsetek dostępny dla grafiki bywa jeszcze niższy niż 75%.

4.32 GB to rozsądny start dla modeli klasy 27B

Na czym polega: Naprawdę użyteczne modele (Qwen 27B, Gemma 4 26B, Qwen 3.6 35B) zaczynają się od ~16,5–22 GB samego pliku. Mac z 24 GB oddaje modelowi ~18 GB — Qwen 27B mieści się ledwo i na rozmowę nie zostaje nic.

Jak stosować: Jeśli chcesz codziennie pracować z modelami tej klasy, celuj w 32 GB zamiast 24 GB. Wtedy spokojnie zmieści się model i kontekst.

Na co uważać: Przy 32 GB Qwen 27B pracuje w tempie czytania (~8–9 tokenów/s). Jeśli zależy Ci na płynności, sprawdź Gemmę 4 26B — na tym samym sprzęcie raportowano 33–50 tokenów/s.

5.64 GB nie daje mądrzejszego modelu — daje dłuższy kontekst

Na czym polega: W rankingach społeczności najlepszy model do uruchomienia przy 64 GB to wciąż Qwen 27B; pierwszy wyraźny krok wyżej (Qwen 3.8 Flash Next) zaczyna się od ponad 66 GB i się nie mieści.

Jak stosować: Nadwyżkę pamięci spożytkuj dwojako: wersja 8-bitowa (~29 GB, bliższa oryginalnej jakości) oraz długi kontekst — od 48 GB VRAM Ollama domyślnie skacze do 256 tys. tokenów.

Na co uważać: To inwestycja pod długie dokumenty i wielogodzinne sesje agentowe, a nie pod skok inteligencji modelu.

6.MoE działa szybciej, ale nie zajmuje mniej pamięci

Na czym polega: Modele „mieszanki ekspertów” przy każdym tokenie aktywują tylko wąską grupę parametrów (Qwen 3.6 35B „A3B” — ok. 3 mld naraz). Na identycznym sprzęcie dały ~5× wyższą prędkość niż mniejszy model gęsty, ale cały plik nadal waży ~22 GB.

Jak stosować: Gdy liczy się tempo — wybierz model MoE dopasowany rozmiarem pliku do Twojej pamięci. Gdy liczy się stabilność długich zadań agentowych — modele gęste bywają pewniejsze.

Na co uważać: Nie myl liczby parametrów aktywnych z rozmiarem pliku; to najczęstsze źródło rozczarowań przy planowaniu pamięci.

7.Zanim kupisz nowy komputer, zmień oprogramowanie

Na czym polega: Na tej samej maszynie z tym samym modelem sama zmiana aplikacji i formatu pliku dała skok z ~8 do ~21 tokenów/s — prawie trzykrotnie, bez żadnego nowego sprzętu.

Jak stosować: Zaktualizuj LM Studio i Ollamę do najnowszych wersji, na Macu wybieraj pliki MLX, a gdy jest wolno — przetestuj alternatywną aplikację zanim wydasz pieniądze.

Na co uważać: Wyniki mocno różnią się między maszynami i konfiguracjami; cudze pomiary traktuj jako orientacyjne.

8.Chmura planuje, lokalny model pracuje

Na czym polega: Sprytniejszy model w chmurze rozbija zadanie na kroki, a lokalny model załatwia czytanie plików i powtarzalne drobiazgi. Ten sam kierunek zapowiedział Microsoft w GitHub Copilocie (rozdział pracy chmura/lokalnie), a Perplexity uruchomiła na Macu tryb hybrydowy.

Jak stosować: Wrażliwe dane — faktury, wyciągi, dokumenty klientów — zostaw lokalnie; trudne planowanie i rozumowanie wysyłaj do chmury.

Na co uważać: Kluczowe jest oddzielenie haseł i kluczy od folderu, w którym pracuje lokalny agent.

9.Przy agentach nie schodź poniżej 4 bitów

Na czym polega: Warianty 3- i 2-bitowe oszczędzają pamięć, ale pierwszą ofiarą kompresji jest wywoływanie narzędzi — format, którym agent porozumiewa się z innymi programami. Test odtworzenia realnej sesji agentowej (100 tys. tokenów) pokazał, że 4-bitowa kompresja pamięci podręcznej KV psuje te wywołania na trwałe.

Jak stosować: Do zwykłej rozmowy mocniejsza kompresja bywa znośna; do pracy agentowej pobieraj 4 bity lub wyżej i na początek zostaw cache KV w spokoju.

Na co uważać: Kompresja cache KV przy 8 bitach w teście chwilowo psuła wywołania narzędzi, zanim wróciły do normy — jeśli prowadzisz długie sesje agentowe, nie ryzykuj.

10.„Lokalnie” nie znaczy automatycznie „bezpiecznie”

Na czym polega: Skan internetu trwający 293 dni (SentinelOne i Censys) znalazł 17,5 tys. serwerów Ollamy otwartych publicznie, bez hasła — prawie połowa z włączonym wywoływaniem narzędzi. Domyślnie Ollama słucha tylko lokalnego komputera; te serwery ktoś ręcznie wystawił na świat.

Jak stosować: Zostaw Ollamę dostępną wyłącznie dla własnej maszyny; dostęp z zewnątrz zrealizuj przez prywatną sieć typu Tailscale; w LM Studio włącz na serwerze lokalnym wymaganie tokena.

Na co uważać: O bezpieczeństwie nie decyduje miejsce uruchomienia modelu, tylko to, do czego agent może sięgnąć — nie trzymaj haseł w jego katalogu roboczym i pobieraj modele z oficjalnych źródeł.

Redakcyjne tłumaczenie

(Informacja dodatkowa: transkrypt automatyczny zniekształca nazwy własne — „Ola”/„Olama” to Ollama, „Twin”/„TW”/„Tren” to modele Qwen. W tłumaczeniu przywrócono poprawne nazwy.)

„Lokalne modele są głupie” — najczęściej to nie model

Wielu ludzi instaluje lokalny model AI na komputerze, podłącza go do asystenta takiego jak Claude Code, prosi o jedną drobną rzecz — a on zawodzi. W połowie zadania zapomina, o co prosiłeś. Większość odchodzi wtedy z tym samym wnioskiem: lokalne modele są po prostu tępe. Tyle że bardzo często problem wcale nie leży w modelu. Oto, co dzieje się naprawdę.

Ollama, jedna z najpopularniejszych aplikacji do uruchamiania lokalnych modeli, podaje we własnej dokumentacji, że na maszynie z mniej niż 24 GB VRAM — czyli pamięci, z której korzysta układ graficzny — domyślny kontekst wynosi zaledwie 4 tys. tokenów. Ta sama strona zaleca, by narzędzia agentowe i programistyczne dostawały co najmniej 64 tys. To różnica szesnastokrotna.

Szybkie wyjaśnienie dwóch pojęć. Token to najmniejszy kawałek, na który AI tnie tekst — na razie wystarczy myśleć o nim jak o słowie albo kawałku słowa. Kontekst to natomiast wszystko, co model w danym momencie widzi: Twoje polecenie, pliki, które przeczytał, i całą rozmowę do tej pory. To wszystko musi zmieścić się w jednym oknie, a to, co się nie mieści, wypada — zaczynając od najstarszych elementów.

Narzędzia agentowe, zanim cokolwiek napiszesz, wpychają do tego okna wielki blok własnych instrukcji. Jedno ze społecznościowych pomiarów wykazało, że samo „cześć” wpisane w narzędziu agentowym zjada około 5 tys. tokenów, a cięższe programy, jak Claude Code, mierzono na poziomie około 30 tys. Przy zaledwie 4 tys. tokenów zapasu pamięć kończy się, zanim zacznie się właściwa praca. Twój lokalny model może więc wcale nie być tępy — może być po prostu źle skonfigurowany.

Jeśli budujesz realne produkty, warto to ogarnąć, bo lokalny model to sposób na trzymanie prywatnych danych na własnej maszynie i na przestanie płacenia za każdy token przy nudnej, rutynowej robocie. W tym materiale rozbiorę: jaki model uruchomi Twój komputer — od 16 do 128 GB, dlaczego niektóre większe modele działają szybciej, jakiego oprogramowania używać, co ludzie naprawdę zdołali uruchomić oraz pięć pułapek, w które wpada większość początkujących.

Jedna reguła i jedna pułapka, którą mają tylko Maci

Żeby ocenić, czy model ruszy na Twoim sprzęcie, potrzebujesz jednej reguły plus jednej pułapki dotyczącej wyłącznie Maców. Zacznij od nazwy. W internecie natkniesz się na nazwy w stylu Qwen 3.8 27B — to „27B” oznacza, że model ma 27 miliardów parametrów. Parametry to to, czego model się nauczył, zapisane jako ogromna sterta liczb. Więcej parametrów zwykle znaczy sprawniejszy model i zawsze znaczy większy plik.

Surowy plik modelu jest ogromny, więc się go kompresuje — to tzw. kwantyzacja. Wyobraź sobie kompresję zdjęcia: każdą liczbę zapisuje się trochę mniej dokładnie, plik wyraźnie maleje, a efekt wygląda praktycznie tak samo. Dziś najpopularniejszy wariant to 4 bity. I tu reguła: model 4-bitowy potrzebuje około 0,6 GB pamięci na każdy miliard parametrów. Zgadza się to z rzeczywistymi plikami na Hugging Face: Qwen 3.5 9B ma około 5,7 GB, Qwen 3.8 27B około 16,5 GB, a Qwen 3.6 35B około 22 GB. Kopie rozprowadzane przez Ollamę bywają nieco większe, więc zawsze sprawdź stronę pobierania.

(Informacja dodatkowa: Hugging Face to największy publiczny katalog modeli AI i zbiorów danych.)

To jednak tylko sam model. Kontekst również zajmuje pamięć — samo zmieszczenie pliku nie wystarczy. Musisz zostawić dodatkowy zapas na pracę.

A teraz pułapka Maców. W Macu pamięć jest współdzielona między procesorem a układem graficznym — to duży atut przy AI. Społeczność jednak regularnie odkrywa, że macOS domyślnie pozwala graficy korzystać z około trzech czwartych tego zasobu, a na mniejszych Macach bywa jeszcze mniej. Realnie: Mac z 16 GB odda modelowi najwyżej 12 GB, a z 32 GB — około 24. Dokumentacja MLX, apple’owskiego frameworku do uczenia maszynowego, pokazuje komendę podnoszącą ten limit, ale po restarcie wraca wartość domyślna. Jeśli dopiero zaczynasz, po prostu planuj na trzy czwarte.

Skala szybkości

Przechodzimy do najważniejszej części — poziom pamięci po poziomie. Przy każdym powiem, co da się uruchomić, jak to działa i do czego się nadaje. Wszystkie liczby o prędkości pochodzą od ludzi ze społeczności, żadna nie jest moja, a ten sam komputer potrafi zachowywać się zupełnie inaczej z różnym oprogramowaniem — traktuj je więc jako orientacyjne.

Prędkość mierzy się w tokenach na sekundę, a oto skala, którą posługuje się społeczność: poniżej 5 — praktycznie nieużywalne; około 10 — mniej więcej tempo, w jakim czytasz; 20–30 — działa płynnie; 60 i więcej — zaczyna przypominać pracę z modelem w chmurze.

8–16 GB: małe, żwawe, ale nieszczególnie sprytne

Pierwszy poziom, 8–16 GB, to większość laptopów i podstawowe Maki. Uruchomisz tu wyłącznie małe modele. Gemma 4 E4B od Google’a to około 5 GB, a Qwen 3.5 9B około 5,7 GB na Hugging Face (Ollama obie wersje rozmiaruje na 6,6 GB). Mieści się tu też otwarty model OpenAI, GPT-OSS 20B — OpenAI deklaruje, że wystarczy mu 16 GB pamięci. Ale pamiętasz pułapkę? Ten plik ma około 12 GB, a przez Ollamę 14 — i 16-gigabajtowy Mac dysponuje w praktyce ledwie 12 GB. Na rozmowę nie zostaje nic. Na Macu z 16 GB wygodnie obsłużysz tylko dwa mniejsze modele.

Na tym poziomie prędkość zwykle nie jest problemem, bo małe modele działają żwawo. Problemem jest inteligencja. Świetnie sprawdzą się przy przerabianiu tekstu, tłumaczeniu, streszczaniu artykułów czy zamianie chaosu danych w porządną tabelę. Ale poproś taki model o pracę agenta — planowanie kilku kroków i samodzielne sięganie po narzędzia — a będzie regularnie popełniał błędy.

24–32 GB: złoty środek

Drugi poziom to 24–32 GB — zakres, który społeczność nazywa „sweet spotem”, czyli optymalnym punktem. Tu modele zaczynają być naprawdę użyteczne. Najpopularniejszy to Qwen 3.8 27B, pobrany z Hugging Face ponad 8 milionów razy w ostatnim miesiącu. Dwa pozostałe to Gemma 4 26B od Google’a i Qwen 3.6 35B.

Co do prędkości: użytkownicy 32-gigabajtowego Maca mini M6 raportują Qwena 27B na 8–9 tokenów na sekundę — mniej więcej tempo czytania. Po przełączeniu na Gemmę 4 26B na tej samej klasie maszyny raporty skaczą od 33 do około 50 — kilka razy szybciej. Dlaczego tak się dzieje, wyjaśnię dalej, ale najpierw jedno zastrzeżenie: 24 i 32 GB to bardzo różne światy. Mac z 24 GB oddaje modelowi około 18 GB — Qwen 27B mieści się tam na styk i na rozmowę nie zostaje prawie nic. Jeśli ma to działać wygodnie, 32 GB to bezpieczniejszy punkt startowy.

Na tym poziomie możesz zadawać pytania o własne prywatne dokumenty, wręczyć modelowi cały pakiet danych do posortowania, a nawet podpiąć agenta kodującego do małych, dokładnie sprecyzowanych zadań.

64 GB: ten sam model, ale z długim kontekstem

Trzeci poziom to 64 GB. Wiele osób sądzi, że podwojenie pamięci przynosi dużo sprawniejszy model. Tymczasem gdy społeczność rankingowała najlepszy model do uruchomienia na każdym poziomie, zwycięzca przy 64 GB okazał się ten sam co przy 32 — wciąż Qwen 27B. Pierwszy wyraźny krok w górę to Qwen 3.8 Flash Next, którego najmniejsza wersja przekracza 66 GB — na 64-gigabajtowym Macu po prostu się nie mieści.

Co więc zrobić z dodatkowym miejscem? Dwie rzeczy. Po pierwsze, wziąć wersję 8-bitową, czyli słabiej skompresowaną — około 29 GB — i tym samym bliższą oryginalnej jakości. Po drugie, otworzyć naprawdę długi kontekst: według dokumentacji Ollamy przy 48 GB VRAM lub więcej domyślna wartość skacze do 256 tys. tokenów. Sześćdziesiąt cztery gigabajty kupują Ci więc w praktyce to, że ten sam model czyta dłuższe dokumenty i prowadzi dłuższe zadania agentowe, gubiąc po drodze mniej tego, co robił.

128 GB: tu wreszcie zmienia się sam model

Czwarty poziom, 128 GB, to moment, w którym zmienia się wreszcie model. GPT-OSS 120B od OpenAI to około 63 GB. Obok niego Qwen 3.8 Flash Next — sprzedawany jako 125 miliardów parametrów i opisywany przez Qwena jako eksperymentalny podgląd architektury stojącej za Qwenem 4. I te modele wcale nie są wolne. Testy społeczności na 128-gigabajtowym M5 Max raportują około 60–70 tokenów na sekundę dla GPT-OSS 120B i do około 70 dla Flash Nexta, choć inne pomiary wskazują raczej 40. To i tak znacznie szybciej niż maszyna z 32 GB pchająca model 27B. I znów — pełnych 128 GB nie wykorzystasz: użytkownicy raportują, że macOS domyślnie oddaje AI od 96 do 107 GB. Powszechny pogląd brzmi: ten poziom daje mniej więcej to, co najlepsze modele chmurowe potrafiły rok temu.

256 i 512 GB: dużo pieniędzy za niewiele

Wyżej zostaje 256 i 512 GB — szczyt linii Mac Studio. Da się tam uruchomić jeszcze większe modele, ale porównania publicznych benchmarków pokazują, że każdy krok w górę daje tylko odrobinę inteligencji — i wciąż jesteś za najlepszymi modelami w chmurze. Te dodatkowe pieniądze kupują więc bardzo mało, chyba że Twoje dane nie mogą w ogóle opuścić budynku albo z jednej maszyny korzysta wiele osób.

Krótkie podsumowanie poziomów: 8–16 GB to małe modele do przerabiania, tłumaczenia i streszczania. 24–32 GB to optimum dla użytecznych modeli klasy 27B. Przy 64 GB masz ten sam model z długim kontekstem. 128 GB to przejście do modeli ponad 100 miliardów parametrów. A wyżej płacisz dużo za bardzo mało.

Mieszanka ekspertów: dlaczego większy bywa szybszy

Pewnie zauważyłeś coś dziwnego. Na maszynie z 32 GB Gemma 26B działała kilka razy szybciej niż Qwen 27B. A przy 128 GB ogromny model przeskoczył 27B. Powodem jest architektura o nazwie MoE — mixture of experts, czyli „mieszanka ekspertów”.

Najpierw: dlaczego modele w ogóle bywają wolne? Za każdym razem, gdy AI pisze jeden token, musi odczytać parametry modelu z pamięci. To, ile pamięć potrafi przetransportować na sekundę, nazywa się przepustowością. Im większy model, tym więcej danych musi przemieścić przy każdym słowie — i tym wolniej działa. Zwykły model to tzw. model gęsty: każdy parametr pracuje przy każdym słowie. Model MoE jest rozbity na wiele małych grup ekspertów i dla każdego słowa odwołuje się tylko do kilku z nich. Weź Qwena 3.6 35B A3B: to „A3B” na końcu oznacza, że naraz aktywnych jest tylko około 3 miliardów parametrów. Mniej do przetransportowania — znacznie wyższa prędkość. Jeden test społeczności na tym samym komputerze M4 Pro: gęsty 27B — 14,7 tokena na sekundę; 35B — 78,8. Czyli nieco większy model działał około pięć razy szybciej.

Ale tu kryje się błąd w rozumowaniu, który często krąży w sieci: „szybciej” nie znaczy „mniej pamięci”. Wszyscy eksperci muszą czekać w pamięci — ten 35B nadal zajmuje około 22 GB. Zapamiętaj jedno zdanie: czy model się zmieści, zależy od całości pliku; jak szybko działa, zależy od tych kilku ekspertów, których akurat wywołuje. Wiele osób dodaje, że modele gęste są stabilniejsze przy długich zadaniach agentowych, a MoE czasem się potykają. Wybór sprowadza się więc do tego, czy potrzebujesz szybkości, czy równowagi.

Oprogramowanie: trzy programy na start

Model to tylko plik — potrzebujesz aplikacji, która go uruchomi. Początkujący najczęściej spotykają trzy. Pierwsza to LM Studio: pełny interfejs, coś jak sklep z aplikacjami dla modeli. Wyszukujesz, pobierasz i rozmawiasz w jednym miejscu, a program od razu pokazuje, co zmieści się na Twojej maszynie. Na Macu wybieraj wersję MLX — to autorski framework Apple’a i zwykle działa na Makach szybciej. Druga to Ollama: pracuje głównie w tle, więc inne aplikacje mogą się z nią łączyć — to najprostszy sposób na podpięcie narzędzi agentowych takich jak Claude Code. Trzecia to llama.cpp: silnik, na którym od środka działa mnóstwo innego oprogramowania — korzystały z niego i Ollama, i LM Studio. Daje najwięcej opcji, ale wszystko robi się komendami, więc to narzędzie dla ludzi, którzy lubią grzebać w ustawieniach.

Dlaczego to takie ważne? Ponieważ ktoś w społeczności wziął tego samego Maca mini M6 z 32 GB i tego samego Qwena 27B, zmienił wyłącznie oprogramowanie i format pliku — i przeszedł z około 8 do około 21 tokenów na sekundę. Prawie trzykrotnie szybciej bez ani jednej nowej części. Gdy więc coś działa wolno, nie wybiegaj do sklepu po nowy komputer. Najpierw sprawdź inne oprogramowanie, zaktualizuj wszystko do najnowszej wersji, a na Macu upewnij się, że pracujesz na wersji MLX.

Co ludzie naprawdę zrobili z lokalnym AI

Opisuję wyłącznie przykłady, o których członkowie społeczności mówią, że naprawdę je wykonali.

Pytania o prywatne dokumenty. Kontrakty, dokumentacja medyczna, pliki klientów — wielu osobom nie w głowie wysyłanie tego do chmury. Lokalnie możesz wrzucić modelowi cały stos dokumentów i zadawać pytania, nawet z wyłączonym internetem.

Wielkie, powtarzalne zadania na całą noc. Jedna osoba podała lokalnemu modelowi 40 przykładowych faktur do przeczytania i wpisania do arkusza — wszystkie 40 wyszły poprawnie. Taka robota nie wymaga najsprytniejszego modelu. Wymaga tylko kogoś, komu nie przeszkadza monotonna praca.

Porządkowanie domowych finansów. Ktoś na Macu mini M6 z 32 GB i Gemmą 4 26B kazał lokalnemu agentowi napisać mały program, który posortował transakcje z konta, zsumował wydatki w kategoriach i zbudował panel z wykresami. Dane z banku ani razu nie opuściły tej maszyny.

Organizacja biblioteki wideo. Ktoś puścił model wizyjny ważący około 6 GB na Macu mini M4 i kazał mu pisać opisy do tysięcy klipów — obliczenia trwały ponad 16 godzin. Teraz całą bibliotekę można przeszukiwać zwykłym tekstem.

Pomysł najcenniejszy z wszystkich: chmura planuje, lokalny pracuje. Model w chmurze jest sprytniejszy — to on wymyśla, co zrobić, i rozbija plan na kroki. Model lokalny załatwia czytanie i powtarzalne drobiazgi. Wielkie firmy idą w tę samą stronę: w październiku Microsoft zapowiedział, że GitHub Copilot będzie rozdzielał pracę między modele w chmurze i modele lokalne na Twojej maszynie, a we wrześniu Perplexity uruchomiła na Macach tryb hybrydowy — chmura obsługuje rozumowanie i wyszukiwanie, a model lokalny Twoje prywatne pliki.

Szczerze o tym, czego lokalne AI nie umie

Żebyś nie zmarnował na to weekendu, trzy rzeczy, przy których zawodzi.

Agent kodujący na dużym projekcie. Ktoś raportował Qwena 27B na laptopie M5 Pro z prośbą o znalezienie błędu w całym projekcie. Model mielił ponad 3 minuty z wentylatorami na maksimum — i nie napisał ani jednej linijki kodu. Powodem jest parametr, który wiele osób pomija: szybkość czytania promptu. Zanim model cokolwiek napisze, musi przeczytać wszystko, co mu dałeś — a cały projekt to łatwo dziesiątki tysięcy tokenów. Na wielu maszynach to po prostu trwa.

Mały model 9B w roli agenta. Komuś agent na modelu 9B miał zbudować panel dla domowego serwera. Oznaczył zdrowe usługi jako niedziałające, a przyciski na stronie nie reagowały. Model w chmurze załatwił to samo za pierwszym podejściem.

Zejście poniżej 4 bitów. Żeby upchnąć modele na mniejszych komputerach, niektóre wersje kompresuje się do 3 albo 2 bitów. Pierwszą rzeczą, która się przy tym sypie, jest wywoływanie narzędzi — czyli format, którym agent mówi innym programom, co mają zrobić. Zwykła rozmowa może jeszcze działać, ale przy agentach trzymaj się 4 bitów albo więcej.

Pięć pułapek, które łapią większość początkujących

Gdy ktoś mówi, że lokalne AI jest głupie albo wolne, w zdecydowanej większości przypadków chodzi o jedną z tych pięciu rzeczy.

Pułapka 1: za krótki kontekst. Ta, od której zaczęliśmy. Na maszynach poniżej 24 GB VRAM Ollama domyślnie przydziela 4 tys. tokenów. Podłączasz agenta? Otwórz ustawienia, podciągnij suwak kontekstu do co najmniej 64 tys. Podniesienie wartości zużywa więcej pamięci — po to właśnie zostawiałeś zapas.

Pułapka 2: brak szablonu rozmowy. Każdy model oczekuje wiadomości w ściśle określonym formacie — to tzw. chat template, coś jak sposób mówienia, który model rozumie. Część wersji wgranych ponownie do sieci nie przenosi tego formatu, oprogramowanie po cichu wraca wtedy do wersji generycznej, a model wyraźnie głupieje. Rozwiązanie: pobieraj wersję oficjalną albo popularną i dobrze ocenianą, a jeśli coś działa dziwnie — spróbuj innej wersji.

Pułapka 3: skompresowana pamięć podręczna KV. Cache KV to notatki modelu z dotychczasowego przebiegu rozmowy. Wiele poradników każe ją kompresować dla oszczędzenia miejsca, ale zespół Level 1 Techs odtworzył rzeczywistą sesję agentową rzędu 100 tys. tokenów i przetestował dokładnie to. Przy 8 bitach wywołania narzędzi chwilowo szły źle, po czym wróciły do normy. Przy 4 bitach rozsypały się na dobre. Był to jeden test na potężnym sprzęcie Nvidii, a dokumentacja mówi, że 8 bitów zwykle nie daje odczuwalnej różnicy — ale jeśli pracujesz z agentami, na początek zostaw to ustawienie w spokoju.

Pułapka 4: sprawdzasz, czy się mieści, ale nie czy działa. Ludzie opisują upychanie lekko skompresowanego modelu 27B na 16-gigabajtowej karcie graficznej. Pamięć zapełnia się po brzegi i cały komputer się zawiesza. Nawet gdy plik się mieści, wciąż potrzebujesz miejsca na kontekst — i musisz zaakceptować tempo, w jakim model czyta i pisze.

Pułapka 5: przekonanie, że „lokalnie” automatycznie znaczy „bezpiecznie”. Trzymanie danych w domu jest z pewnością bardziej prywatne, ale firmy SentinelOne i Censys skanowały internet przez 293 dni i znalazły 17,5 tysięcy różnych serwerów Ollamy wystawionych na cały świat, bez żadnego hasła — każdy mógł z nich korzystać, a prawie połowa miała włączone wywoływanie narzędzi. Domyślnie Ollama słucha wyłącznie Twojego komputera; te serwery ktoś ręcznie przestawił na cały internet. Sam plik modelu niczego nie wykona, ale jeśli dasz agentowi narzędzia, może on ruszyć Twoich plików. Zapomnij więc, gdzie model działa. Liczy się wyłącznie to, do czego może sięgnąć.

(Informacja dodatkowa: Censys to firma zajmująca się skanowaniem internetu i mapowaniem wystawionych publicznie usług; SentinelOne — dostawca rozwiązań bezpieczeństwa IT.)

Checklista na jedno popołudnie

1. Utrzymuj Ollamę nasłuchującą wyłącznie na własnym komputerze. Jeśli potrzebujesz dostępu spoza domu, użyj prywatnej sieci typu Tailscale, która łączy Twoje urządzenia w zamknięty tunel.
2. Zaktualizuj Ollamę i LM Studio do najnowszej wersji — Ollama łatała już realne luki bezpieczeństwa.
3. Każdemu modelowi, któremu dajesz narzędzia, pobieraj pliki wyłącznie z oficjalnego lub szeroko znanego źródła.
4. Trzymaj hasła i klucze poza folderem, w którym pracuje agent.
5. Jeśli włączasz lokalny serwer LM Studio, wejdź w ustawienia serwera i włącz opcję wymagania tokena.

Kiedy naprawdę warto dopłacić do pamięci

Jeśli masz 16 GB i chcesz codziennie pracować z agentami na modelu klasy 27B — przejście na 32 GB poczujesz. Jeśli przy 32 GB nieustannie czytasz długie dokumenty albo prowadzisz wielogodzinne sesje agentowe — dopiero wtedy sens ma 64 GB. A jeśli marzą Ci się modele ponad 100 miliardów parametrów, potrzebujesz 128 GB. Poza tymi trzema scenariuszami najpierw napraw oprogramowanie i ustawienia. Twój obecny komputer ma prawdopodobnie znacznie większe rezerwy, niż z niego wykorzystujesz.

Siedem rzeczy do zrobienia jeszcze dziś

1. Podłączasz agenta — ustaw kontekst na co najmniej 64 tys. tokenów.
2. Model 4-bitowy to około 0,6 GB na miliard parametrów plus zapas na kontekst.
3. Na Macu planuj na trzy czwarte pamięci.
4. 32 GB to optimum; 128 GB to próg, od którego zaczynają się wielkie modele.
5. Chcesz szybkości — wypróbuj model MoE, a potem inne oprogramowanie.
6. Ciężką pracę wysyłaj do chmury, prywatną i powtarzalną zostaw lokalnie.
7. Utrzymuj Ollamę dostępną tylko dla własnego komputera i nie trzymaj haseł w folderze agenta.

Jeśli chcesz więcej materiałów w tym stylu — zasubskrybuj kanał. Do zobaczenia w kolejnym.