LocalGPT działa tylko na Twoim komputerze i pamięta rozmowy. Napisany w Rust asystent rzuca wyzwanie chmurze

Wyobraź sobie asystenta AI, który nie wysyła Twoich prywatnych danych na żadne zewnętrzne serwery, a przy tym doskonale pamięta każdy szczegół z poprzednich rozmów. LocalGPT, napisany w języku Rust przez Yi Wanga w zaledwie cztery noce, oferuje właśnie taką niezależność – i już teraz wywołuje spore zamieszanie w społeczności Hacker News.

Skąd się wziął LocalGPT i co wyróżnia go na tle innych?

Yi Wang, deweloper na co dzień projektujący zaawansowane systemy oparte na danych, stworzył LocalGPT w zaledwie cztery noce jako autorską, rustową interpretację wzorca asystenta znanego z OpenClaw. Zamiast utrudniać życie użytkownikom skomplikowanymi zależnościami, całe narzędzie pakuje się w jeden plik binarny o wadze zaledwie 27 MB. Zapomnij o instalowaniu Pythona, konfigurowaniu Dockera czy środowiska Node.js – tutaj po prostu wpisujesz cargo install localgpt i patrzysz, jak magia dzieje się sama.

Projekt zadebiutował na Hacker News, gdzie w ciągu kilku godzin zgarnął ponad 150 punktów i wywołał lawinę komentarzy. Użytkownicy doceniają przede wszystkim prostotę i pełną lokalność, choć tradycyjnie pojawiły się głosy krytyczne dotyczące problemów z kompilacją na starszych dystrybucjach Linuksa, takich jak Mint. Wang zaznacza, że korzysta z narzędzia codziennie do porządkowania wiedzy i automatyzacji zadań – i faktycznie, pamięć asystenta rośnie z każdą sesją, co sprawia, że staje się on coraz bardziej użyteczny.

Ironia losu polega na tym, że w dobie dominacji gigantycznych modeli chmurowych, taki minimalistyczny software udowadnia, że czasem mniej znaczy więcej. Oficjalna strona projektu to localgpt.app, a otwarta licencja Apache 2.0 wręcz prosi się o tworzenie własnych wersji i eksperymenty z kodem.

Trwała pamięć oparta na prostych plikach markdown

Sercem LocalGPT jest system pamięci oparty na zwykłych plikach tekstowych markdown, które znajdziesz w katalogu ~/.localgpt/workspace. Pliki takie jak MEMORY.md (magazyn długoterminowej wiedzy), HEARTBEAT.md (kolejka autonomicznych zadań), SOUL.md (definicja osobowości asystenta) oraz opcjonalny folder knowledge/ z tematycznymi podkatalogami stanowią fundament działania. Całość jest indeksowana lokalnie przy użyciu SQLite z rozszerzeniem FTS5 do wyszukiwania pełnotekstowego oraz sqlite-vec do operacji semantycznych – bez potrzeby angażowania zewnętrznych baz wektorowych.

Osadzenia wektorowe, czyli matematyczne reprezentacje znaczenia tekstu, generuje biblioteka fastembed działająca całkowicie offline. Wyszukiwanie sprawnie łączy tradycyjne słowa kluczowe z podobieństwem znaczeniowym, co pozwala błyskawicznie wyciągać potrzebne informacje. Polecenia typu localgpt memory search „zapytanie” czy reindex dają użytkownikowi pełną władzę nad danymi – statystyki jasno pokazują, jak duży zasób wiedzy zgromadziłeś już w pamięci.

To podejście ma w sobie coś oldschoolowego i genialnego zarazem: możesz po prostu otworzyć plik w dowolnym edytorze i ręcznie go poprawić. Na portalu HN chwalą tę transparentność – w końcu ktoś skończył z „czarnymi skrzynkami” w postaci nieprzejrzystych baz wektorowych, co doceni każdy, kogo interesuje sztuczna inteligencja ekspercka.

Instalacja, interfejsy i obsługiwane modele językowe

Proces instalacji to czysta formalność: cargo install localgpt, a następnie localgpt config init, co tworzy plik config.toml w folderze domowym z ustawieniami domyślnego modelu (np. claude-cli/opus), kluczami API i ścieżkami dostępu. Narzędzie wspiera takich dostawców jak Anthropic (Claude), OpenAI czy Ollama – ten ostatni jest szczególnie istotny, bo pozwala na uruchamianie w pełni lokalnych modeli bez wysyłania choćby jednego bita danych poza Twój komputer.

Do dyspozycji masz kilka interfejsów: CLI do interaktywnego czatu, komendę ask dla szybkich pytań, a także web UI oraz desktopowe GUI oparte na bibliotece eframe. Uruchomienie procesu w tle – localgpt daemon start – udostępnia lokalne HTTP API do sprawdzania statusu, prowadzenia rozmów czy przeszukiwania pamięci. Zestaw komend jest oszczędny, ale niezwykle skuteczny: od monitorowania demona po wymuszanie pojedynczych cykli pracy.

W codziennym użytkowaniu wygląda to tak: wpisujesz localgpt chat, gdy chcesz pogadać, lub zostawiasz daemon w tle, by AI pracowało za Ciebie. Na platformach X i HN widać entuzjazm wywołany brakiem zbędnych zależności – choć Wang musiał gęsto się tłumaczyć, że projekt nie wymusza korzystania z chmury, ponieważ endpointy zgodne z OpenAI mogą działać w 100% lokalnie.

Mechanizm heartbeat i autonomiczne zadania w tle

Autonomiczny mechanizm heartbeat to funkcja, która zmienia zasady gry: możesz delegować zadania do pliku HEARTBEAT.md, a demon będzie je cyklicznie przetwarzał (domyślnie co 30 minut, w godzinach od 9:00 do 22:00). Godziny aktywności oraz częstotliwość pracy możesz dowolnie modyfikować w pliku config.toml – to rozwiązanie idealne do prowadzenia researchu czy rozwijania pobocznych projektów bez Twojego ciągłego nadzoru.

LocalGPT zachowuje pełną kompatybilność z formatem umiejętności OpenClaw, co pozwala na łatwy import gotowych skryptów. Pod maską projekt wykorzystuje bibliotekę Tokio do obsługi asynchroniczności oraz Axum jako serwer HTTP. Na HN autor chwali się, że używa tego mechanizmu do ciągłej akumulacji wiedzy i automatycznego wykonywania zadań – dzięki temu pamięć asystenta stale rośnie, a on sam coraz lepiej rozumie kontekst Twojej pracy.

W końcu doczekaliśmy się AI, które samo zajmie się nudną robotą, zamiast bezczynnie czekać na Twoje polecenia co pięć minut. To realny krok w stronę agentów, którzy faktycznie pomagają, a nie tylko generują potoki słów, bo często duże modele rozumujące to tylko iluzja intelektu.

Porównanie z OpenClaw i perspektywa na przyszłość

Pierwowzorem dla tego projektu był OpenClaw – osobisty asystent z pamięcią w markdownie i integracjami z WhatsAppem czy Slackiem. Niestety, wersja w TypeScript borykała się z problemami takimi jak „race conditions” czy ociężałe działanie CLI. LocalGPT naprawia te błędy za pomocą Rusta: jest znacznie szybszy, lżejszy, dostarczany jako jeden plik binarny i nie wymaga stawiania osobnego serwera.

Patrząc w przyszłość: przy rosnącym nacisku na prywatność po kolejnych aferach z wyciekami danych z chmury, takie narzędzia mogą zrewolucjonizować rynek osobistego AI. Czy Wang planuje dalszy rozwój? Historia zmian w kodzie (85 commitów) sugeruje, że tak, choć to wciąż bardzo świeży projekt, który musi udowodnić swoją wartość w starciu z takimi rozwiązaniami jak IQuest-Coder.

Zalety, wady i co mówią użytkownicy

Główne zalety to bezkompromisowa prywatność (dane nigdy nie opuszczają Twojej maszyny), prostota obsługi i wysoka wydajność – Rust gwarantuje szybkość, a SQLite bez problemu radzi sobie z tysiącami plików. Różnorodność interfejsów ułatwia dopasowanie narzędzia do własnego stylu pracy, a współpraca z lokalnymi modelami przez Ollama domyka ekosystem bezpieczeństwa.

Jeśli chodzi o wady wyłapane przez społeczność HN, to najczęściej wspomina się o problemach z budowaniem projektu (np. brak bibliotek x11 dla eframe na niektórych dystrybucjach Linuksa) oraz o dokumentacji, która została wygenerowana przez LLM. Wang broni się jednak stwierdzeniem, że modele językowe są wręcz stworzone do pisania dokumentacji technicznej. Warto pamiętać, że bez odpowiedniej konfiguracji narzędzie nie jest w 100% lokalne, ale wystarczy ustawić endpointy na localhost, by odciąć się od świata zewnętrznego.

Użytkownicy już teraz budują na tej bazie własne rozwiązania, wykorzystując MLX na procesorach Apple Silicon czy model Mistral uruchamiany lokalnie. Ogólny werdykt jest jasny: to niezwykle obiecujący projekt dla osób dbających o prywatność, choć Yi musi jeszcze dopracować proces budowania aplikacji, by uniknąć wpadek.

Źródła: GitHub: https://github.com/localgpt-app/localgpt; Hacker News: https://news.ycombinator.com/item?id=46930391; OpenClaw: https://github.com/openclaw/openclaw; LinkedIn Yi Wang; X posts i web search wyniki z HN, Reddit.