home-lab · self-hosted · GPL-3.0

Jeden master.
Wszystkie hosty AI
w Twojej sieci domowej.

octollama to panel WWW, który zarządza Ollamą, gatewayem LiteLLM i Open WebUI na wielu maszynach naraz — z przeglądarki, także z telefonu. Dodawaj hosty, pobieraj modele, wybudzaj śpiące komputery i wystaw wszystko za jednym endpointem zgodnym z OpenAI.

demo na żywo

Zobacz, jak to działa

70-sekundowa pętla: master, dopinanie hostów slave, jeden gateway dla wszystkich modeli, Wake-on-LAN i automatyczny failover.

funkcje

Co potrafi panel

🦙

Sterowanie usługą

Start, stop i autostart Ollamy na każdym hoście; regulacja każdej zmiennej wydajności — kontekst, VRAM, Vulkan/iGPU, cache KV.

📦

Zarządzanie modelami

Widzisz, co jest zainstalowane i co siedzi w pamięci; pobieranie z paskiem postępu, kasowanie zbędnych modeli.

🔀

Gateway LiteLLM

Jeden endpoint zgodny z OpenAI nad modelami ze wszystkich hostów. Sam decydujesz, które modele są wystawione.

💬

Open WebUI

Czat podpięty pod gateway — widzi te same, świadomie wybrane modele ze wszystkich hostów naraz.

🧩

Konfiguracja Continue.dev

Config dla VS Code generowany z aktualnie wystawionych modeli, do wklejenia. Panel nigdy nie nadpisuje Twojego pliku.

🖧

Wiele hostów

Dodajesz zdalną maszynę, a panel generuje dla niej gotowy instalator. Uruchamiasz raz — host wpina się w sieć.

⚡

Zarządzanie zasilaniem

Wake-on-LAN dla śpiących hostów oraz zdalne wyłączenie, restart i uśpienie — prosto z panelu.

🔐

Zero roota w WWW

Panel nigdy nie dotyka systemctl. Lokalny demon roota bez żadnego portu sieciowego wprowadza zmiany przez plik stanu.

pod maską

Bezpieczeństwo z założenia

Zmiana usług systemd wymaga roota — więc panel WWW go nie dostaje. Panel zapisuje pożądany stan do state.json; osobny demon roota obserwuje plik, wprowadza zmianę i odpisuje wynik w status.json. Jedynym kontaktem demona ze światem jest plik na dysku. Zdalne hosty montują swój katalog stanu przez NFS, eksportowany per host i ograniczony do jego IP.

instalacja

Działa w kilka minut

Na maszynie, która zostanie masterem (Debian/Ubuntu, Python 3.11+):

git clone https://github.com/cyryllo/OctoLlama.git
cd OctoLlama
./install.sh

Instalator stawia Ollamę, LiteLLM, Open WebUI, demona i panel — potem panel czeka pod http://<master>:5000. Za darmo i open source, GPL-3.0.