Wyobraź sobie, że Twój smartfon staje się kompletnym centrum dowodzenia sztucznej inteligencji – bez Wi-Fi, bez 5G i bez wysyłania Twoich sekretów do chmury. Off Grid, nowy projekt o otwartym kodzie źródłowym, robi dokładnie to: pakuje w jedną aplikację generowanie tekstu, obrazów, analizę obrazu z kamery i wiele więcej. W czasach, gdy każdy czat z AI oznacza bycie podglądanym przez wielkie korporacje, taka dawka prywatności brzmi jak prawdziwe wybawienie.

TL;DR

  • Obsługuje modele takie jak Qwen 3 czy Llama 3.2 z prędkością 15-30 tokenów na sekundę na procesorach Snapdragon 8 Gen 2/3.
  • Generuje grafiki w Stable Diffusion w zaledwie 5-10 sekund dzięki wykorzystaniu jednostek NPU.
  • Oferuje analizę wizualną (SmolVLM, Qwen3-VL) w ~7 sekund oraz transkrypcję mowy Whisper w czasie rzeczywistym.
  • Dostępny na Androida (plik APK) i iOS (wymaga kompilacji), a jego repozytorium na GitHubie zebrało już ponad 160 gwiazdek.
  • Pełna lokalność – żadne dane nie opuszczają urządzenia, a użytkownik może wgrywać własne pliki modeli w formacie GGUF.

Co potrafi Off Grid poza zwykłym czatem?

Off Grid to nie jest kolejny generyczny chatbot z lokalnym modelem językowym, ale potężny zestaw narzędzi AI działający natywnie bezpośrednio na podzespołach Twojego telefonu. Aplikacja generuje tekst, tworzy obrazy, analizuje zdjęcia z aparatu i wykonuje transkrypcję mowy – a wszystko to bez wysyłania choćby jednego bajta na zewnętrzny serwer. Jeśli dodasz do tego funkcję analizy załączonych dokumentów, takich jak PDF-y czy arkusze CSV, otrzymasz narzędzie, które bez problemu ogarnia codzienne zadania w trybie samolotowym.

Przykład? Skieruj obiektyw na paragon lub fakturę, a modele wizualne pokroju SmolVLM czy Qwen3-VL przeanalizują treść i wyciągną kluczowe dane w około 7 sekund (na topowych smartfonach). Z kolei transkrypcja głosu oparta na technologii Whisper działa niemal w czasie rzeczywistym – wystarczy przytrzymać przycisk, powiedzieć swoje, a tekst pojawi się na ekranie. W końcu doczekaliśmy się AI, które nie podsłuchuje nas dla zysku reklamowego, tylko faktycznie słucha nas lokalnie.

Co więcej, aplikacja potrafi inteligentnie „podrasować” Twoje polecenia do generowania grafik. Wpisujesz prosty opis, a wbudowany model tekstowy zamienia go w bogaty, szczegółowy prompt. Dzięki temu nawet laik wyczaruje profesjonalnie wyglądające obrazy bez żmudnego studiowania inżynierii promptów.

Wydajność na flagowcach i średniakach

Twórcy przetestowali Off Grid na takich jednostkach jak Snapdragon 8 Gen 2/3 oraz Apple A17 Pro, dostarczając konkretne wyniki, które napawają optymizmem fanów lokalnej sztucznej inteligencji. Generowanie tekstu osiąga od 15 do 30 tokenów na sekundę na najmocniejszych flagowcach, podczas gdy na urządzeniach ze średniej półki tempo spada do 5-15 tokenów. Tworzenie obrazów przy wsparciu jednostek przetwarzania neuronowego (NPU) Snapdragona zajmuje od 5 do 10 sekund. Jeśli jednak zmusisz do tego procesor centralny (CPU), czas ten wydłuży się do około 15 sekund.

Analiza wizualna na mocnym sprzęcie zamyka się w 7 sekundach (na słabszym w 15), natomiast transkrypcja mowy pozostaje płynna wszędzie. Poniżej znajdziesz kluczowe benchmarki – pamiętaj, że ostateczne wyniki zależą od rozmiaru modelu i stopnia jego kwantyzacji:

  • Generowanie tekstu: 15-30 tok/s (flagowiec), 5-15 tok/s (średniak)
  • Generowanie obrazów (NPU): 5-10 s (flagowiec)
  • Generowanie obrazów (CPU): ~15 s (flagowiec), ~30 s (średniak)
  • Analiza wizualna: ~7 s (flagowiec), ~15 s (średniak)
  • Transkrypcja mowy: czas rzeczywisty na obu typach urządzeń

Używając słabszego smartfona, musisz liczyć się z pewnymi przestojami, ale to wciąż lepsza opcja niż bezradność wobec braku zasięgu chmury. Bateria pewnie dostanie w kość, ale święty spokój i prywatność mają swoją cenę.

Modele, które napędzają apkę i jak dodać własne

Off Grid wspiera szeroki wachlarz gotowych rozwiązań, takich jak Qwen 3, Llama 3.2, Gemma 3 czy Phi-4 do operacji tekstowych – wszystkie dostarczane w formacie GGUF, zoptymalizowanym pod kątem urządzeń mobilnych. W kwestii grafiki mamy do dyspozycji ponad 20 wariantów Stable Diffusion, w tym Absolute Reality, DreamShaper czy Anything V5, z funkcją podglądu na żywo. Za „oczy” aplikacji odpowiadają SmolVLM, Qwen3-VL oraz Gemma 3n, a za „uszy” niezawodny Whisper.

Najlepsze jest jednak to, że możesz po prostu wziąć własne pliki .gguf i wrzucić je do aplikacji, ciesząc się pełną swobodą. Modele Qwen, których w tym zestawieniu nie brakuje, dobitnie pokazują, jak chińskie projekty doganiają zachodnią konkurencję pod względem wydajności. Na GitHubie projekt zebrał już 168 gwiazdek, co zwiastuje spory potencjał, mimo że na masowe testy użytkowników musimy jeszcze chwilę poczekać.

Czy są jakieś wady? Oczywiście – potężniejsze modele na telefonach ze średniej półki mogą działać ociężale, choć kwantyzacja nieco ratuje sytuację. To jednak ważny krok w stronę rozbicia monopolu chmurowego, gdzie często płacimy abonament za coś, co mogłoby bez problemu działać lokalnie.

Instalacja na Androida i iOS krok po kroku

Jeśli korzystasz z Androida, sprawa jest prosta: pobierasz najnowszy plik APK z sekcji wydań na GitHubie i po dwóch minutach masz działające narzędzie. Autor niedawno odświeżył nazwę pakietu na ai.offgridmobile i podbił wymagania SDK do wersji 36.

W przypadku iOS sytuacja jest nieco bardziej skomplikowana, bo aplikację trzeba zbudować samodzielnie ze źródeł: klonujesz repozytorium, wykonujesz npm install, pod install dla iOS i na koniec npm run ios. Wymagane jest środowisko Xcode 15+ oraz Node 20+.

Oto podstawowa ścieżka budowania projektu – pamiętaj, by zawsze zaczynać od czystego środowiska:

  • git clone https://github.com/alichherawalla/off-grid-mobile.git
  • cd off-grid-mobile && npm install
  • Dla Androida: cd android && ./gradlew clean && cd .. && npm run android
  • Dla iOS: cd ios && pod install && cd .. && npm run ios

Jakie wyzwania czekają na użytkowników Apple? Obecnie brakuje gotowego pliku IPA, ale twórcy mają w planach udostępnienie apki przez AltStore. Ostatnie aktualizacje (wersja v0.0.47 z 15 lutego) skupiły się na poprawkach dokumentacji oraz interfejsu, eliminując błędy z wyświetlaniem klawiatury czy dopasowaniem motywów systemowych.

Model open-source zachęca do współtworzenia projektu – każdy może zrobić fork, stworzyć własną gałąź i wysłać propozycję zmian (PR) zgodnie z wytycznymi w dokumentacji.

Architektura i co dalej z projektem?

Pod maską Off Grid kryje się w 90% TypeScript, wspierany przez natywne moduły oparte na takich bibliotekach jak llama.cpp, whisper.cpp czy llama.rn. Aplikacja wykorzystuje akcelerację sprzętową NPU na procesorach Snapdragon oraz Core ML na systemach iOS (autorska struktura Apple do obliczeń maszynowych). Dokumentacja techniczna szczegółowo opisuje architekturę, testy E2E (obejmujące 16 scenariuszy) oraz surowy, brutalistyczny design oparty na tokenach motywów.

Repozytorium rozwija się w błyskawicznym tempie: tylko w lutym odnotowano dziesiątki commitów, poprawiono obsługę plików PDF (przejście na PDFium) oraz dopracowano proces onboardingu. Wątek na Hacker News z wynikiem 87 punktów potwierdza duże zainteresowanie społeczności, choć dyskusje koncentrują się głównie na samym kodzie (off-grid-mobile). Co przyniesie przyszłość? Planowane jest dodanie apki do F-Droid oraz wsparcie dla kolejnych modeli – wsparcie społeczności jest tu kluczowe.

Patrząc na to krytycznie: na ten moment brakuje niezależnych benchmarków poza tymi od autora, a wpływ na żywotność baterii przy dużym obciążeniu pozostaje zagadką. Jednak w świecie, gdzie AI pożera nasze dane, Off Grid przypomina o ważnej prawdzie: lokalna moc obliczeniowa też potrafi pokazać pazur.

Lokalne AI to nie ChatGPT. O czym warto pamiętać?

Zanim rzucisz się na Off Grid z entuzjazmem, trzeba uczciwie powiedzieć o jednym: modele, które realnie zmieszczą się na smartfonie z 8 GB RAM, to zazwyczaj warianty o 1-3 miliardach parametrów. To zupełnie inna liga niż ChatGPT, Claude czy Gemini, które operują na setkach miliardów parametrów i potężnych serwerach. W praktyce oznacza to, że lokalny Qwen 3 0.6B czy Llama 3.2 1B sprawdzi się przy prostych pytaniach, podsumowaniach, tłumaczeniach czy generowaniu krótkich notatek – ale nie oczekuj od niego złożonego rozumowania, analizy długich dokumentów czy profesjonalnego kodowania.

Społeczność Hacker News zwróciła na to uwagę wprost: samo uruchomienie modelu na telefonie to jedno, a uzyskanie naprawdę użytecznych odpowiedzi – to drugie. Off Grid daje Ci prywatność i niezależność od chmury, ale ceną za to jest wyraźnie niższa jakość odpowiedzi w porównaniu z tym, do czego przyzwyczaiły nas płatne usługi AI. Traktuj to jako sprytne narzędzie do konkretnych, prostszych zadań offline – nie jako zamiennik pełnoprawnego asystenta AI.

Źródła: GitHub: https://github.com/alichherawalla/off-grid-mobile (repo, releases, docs); Hacker News: https://news.ycombinator.com/item?id=47019133 (Show HN thread)

Najczęściej zadawane pytania